只需要录音文件, AI 自动生成视频

2022-03-19 18:36:32 +08:00
 yedaxia

在开发了33 搜帧之后,我突发奇想,既然可以根据文案匹配到关联的画面,那么理论上是可以在这个基础上实现一个自动生成视频的功能。


33 搜帧是一个使用 AI 技术构建的视频画面搜索引擎,它的核心能力是通过文本来搜索相关视频素材里面的帧画面。

于是,经过了七七四十九天的闭关,终于搞了一个初步能用的版本。

只要你录好音,这个工具就能帮你生成一个视频,具体步骤如下:

第一步:上传录音文件

第二步:语音识别生成台词文本,修正识别错误的部分

第三步:选择匹配的素材,然后一键生成视频。

目前可能还存在很多局限性,不过还是值得作为视频创作者的你前来一试的~

体验链接:33 搜帧

3285 次点击
所在节点    分享创造
18 条回复
id4alex
2022-03-19 18:40:52 +08:00
上传文本, 借助 api 合成音频和视频.

起码我看到 YouTube 是有人这样做的.
moonkiller
2022-03-19 18:41:56 +08:00
🐮啊
这就去试试
yedaxia
2022-03-19 18:45:31 +08:00
@id4alex 啊,没有感情的工作机器~
shanghai1998
2022-03-19 18:48:46 +08:00
advancejar
2022-03-19 21:11:54 +08:00
非常好的创意,完善了真的是 ai 创造给人看了
yedaxia
2022-03-19 22:58:11 +08:00
@advancejar 谢谢支持。
Chihaya0824
2022-03-21 01:00:04 +08:00
草,想起了我们学校以前就有人做过一模一样的东西
phithon
2022-03-21 02:37:36 +08:00
这个真的支持!
haiyan
2022-03-21 08:37:44 +08:00
@id4alex 我写过把小说变成视频上传 youtube ,被封了很多号,就算求了
yws112358
2022-03-21 09:57:32 +08:00
积分扣除有点问题啊
我刚才用 read aloud 生成了一段音频 注册给了 50 积分。生成一次 扣了 23 积分。生成之后发现有个片段有问题。,返回编辑,结果又扣了 23 ,并且可能由于缓存,编辑的片段并未生效,还是原来那个
hwwang112244
2022-03-21 14:09:31 +08:00
请教下,这个具体的视频素材是哪儿来的,有侵权的风险吗?
hbtech
2022-03-21 14:38:31 +08:00
我是之前内测的时候就注册了,后面送了我 500 积分。现在似乎有点问题,剪切一直显示失败,一看积分还扣除了

xueyangkk
2022-03-22 10:13:46 +08:00
我上上家公司做过类似的产品 ,给你提供点思路吧 他们做的是 识别电影中的物体 台词 等等, 搜所的时候 可以根据物体 和 台词 组合成新的短片 。 举个例子 我爱你 周星驰在大话西游说过 梁朝伟 在某部片子里说过 等等等 。。最后组合成一部 我爱你的合集 。 这个有个困难的是 版权怎么解决 ? 其次训练的精度 尤其是截取片段的准确度要很高 。这些问题一直弄了很久 .... 最后上线了 但是商业化变现又很困难 。 客户是 MCN 机构 试用一段时间 反馈效果是不准,其次是资源不够多等等问题
yedaxia
2022-03-22 10:51:52 +08:00
@hbtech 谢谢反馈,这个是昨天升级服务器导致的,现在已经修复了,这边会补偿积分。
yedaxia
2022-03-22 10:52:50 +08:00
@yws112358 嗯谢谢反馈,是缓存问题,已经修复了。
yws112358
2022-03-22 10:57:17 +08:00
@yedaxia #15 反复编辑的项目可以不扣积分或者酌情减少积分扣除吗
yedaxia
2022-03-22 11:00:00 +08:00
@xueyangkk 谢谢建议。
yedaxia
2022-03-22 11:01:03 +08:00
@yws112358 嗯,这个后续会完善一下~

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/841499

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX