做有声读物时, AI TTS 的情绪和口音控制是不是一直很难?

2 月 27 日
 sunwangme
最近在折腾把一些偏故事、叙述类的长文本做成有声读物,用途主要是自己听,也可能之后给内容配音用。

一开始以为 TTS 已经挺成熟了,真正用下来才发现,想要“有情绪、有一点口音”的声音,其实挺难的。

主要遇到几个问题:

1.情绪大多只能在 prompt 里简单写,实际听起来变化很生硬

2.口音有时候不是“带点口音”,而是直接变成怪腔怪调

3.长文本生成时,前后语气经常不一致,听久了很出戏

4.分段生成虽然好控制,但整体连贯性又会受影响

期间也试过几种方案,本地模型和一些现成的在线 TTS 都折腾过。本地方案配置成本比较高,调参也挺花时间;在线的很多要么情绪选项很少,要么更适合短句,不太适合整段故事。

目前为了先把流程跑通,暂时用的是一个在线方案( https://flowspeech.io/),至少在生成速度和情绪、口音的可控性上还算能接受,用来做有声读物的初版还行,但也谈不上完全满意。

想请教下大家:

1.如果是做偏长文本的有声读物,一般是怎么解决情绪一致性的问题的?

2.情绪 / 口音这种需求,是不是本来就不太适合现在的 TTS ?

欢迎分享踩坑经验 🙏
763 次点击
所在节点    问与答
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1194608

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX