将 [视频、文本、图像] 自动生成对应的音频

[vavagao]

视频生成缺乏很好的音频

现在有各种各样的视频生成模型，比如可灵比如 wan2.1 这种，但是他们都没有生成音频。然后还要去找合适的资源去匹配，这很麻烦，也很不 fashion.所以需要有这样的模型能够更具视频、文字、图像能够理解并自动生成对应的音频、英语，这就很棒了。

现有的音频生成模型对比

现在开源的视频转音频模型有不少，比如mmaudio、audiox。这两个各有优劣。mmaudio 只能实现视频转音频、文字转音频，而 audiox 不仅可以实现视频转音频、文字转音频，还可以实现视频转英语、文字转音乐、图像转视频和音乐。只不过 audiox 更多元化。

AudioX 的例子

具体的例子可以去用户例子去看看，效果确实不错，可以实现视频转音频、文字转音频、视频转英语、文字转音乐、图像转视频和音乐等功能，都是基于扩散模型实现的。

可以去体验体验，然后也可以多提提建议。有则改之无则加勉。