[开源分享] 发现一个挺有意思的 TTS 项目 VoxMel,直接在 Mel 频谱上做自回归生成

17 分钟前
 hanseey

最近关注到一个挺有意思的开源 TTS 项目:VoxMel。

GitHub:https://github.com/VoxDance-Lab/VoxMel

Twitter: https://x.com/_akhaliq/status/2120749548851368358

现在不少自回归语音生成模型会依赖学习式声学 Tokenizer,先把音频离散化再进行建模。

VoxMel 的思路有点不一样,它尝试直接在连续 Mel 频谱上做自回归生成,不依赖学习式声学 Tokenizer,同时通过小波分解来组织不同尺度的声学信息。

感觉这个方向还挺值得探索的,毕竟如何在不引入离散声学 Token 的情况下实现高质量语音生成,一直是个挺有意思的问题。

项目已经开源了代码、模型和技术报告,也有音频 Demo 可以试听。

分享给同样关注 TTS、语音生成方向的朋友,感兴趣的可以看看实现,也欢迎一起讨论这种建模路线的优劣。

觉得不错的话感觉可以顺手支持个 Star ⭐

34 次点击
所在节点    程序员
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1257565

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX