做了个 CLI 工具用 AI 来剪辑 vlog 效果意外地还不错

4 月 14 日
 jybox

它会用 Gemini 先把视频看一遍,从中提取故事线然后构造时间线,过程中它会添加字幕、转场、裁切、生成背景音乐,当然也可以根据你的指示进一步修改。最后可以用 Remotion 来预览,也可以导出到 Final Cut Pro 做进一步调整。

最后导出的视频:https://www.youtube.com/watch?v=KcqQadtzAm8

Gemini 是目前试下来视频支持比较好的模型,虽然内部其实也是在以 1 帧每秒的形式去读截图,但关键是它能够输出视频画面对应的精确时间戳,这样才能用于后续的剪辑。至于视频的 token 消耗其实比我想象得要低,每秒大概 300 token ,用 Gemini 3 Flash 分析一小时的视频也就 $0.5 。

我的视频真的就是旅行的时候随手拍拍,没有脚本,也没有旁白,于是我这个工具就定位在了剪辑这种「无脚本」视频,只专注在剪辑上,并不会用 AI 生成任何的图像或解说(但背景音乐算个例外,是 AI 生成的)。

其实我做这个项目一开始只是想自己用,不然也不会用命令行界面了,现在就有点犹豫后续是改成一个基于网页的界面(甚至可以做 SaaS ),还是直接开源。

2138 次点击
所在节点    分享创造
10 条回复
azhangbing
4 月 14 日
好像很不错 我也有一堆没有剪辑的视频躺在 NAS 里
Aprdec
4 月 14 日
诶哟 不赖
yuewolf
4 月 14 日
大佬,你肯定对比过 Gemini 3.1 Flash-Lite 和 Gemini 3 Flash 预览版 吧?

就你实测,它们实际使用上的差别有哪些?

为什么选择了 Gemini 3 Flash 。

关于你的问题,我觉得你可以做一个 SaaS 版上线试一下,主要面向海外, 反正有 AI 写,很快的。
dassh
4 月 14 日
没开声音,没细看,感觉没有足够的吸引力
另外,我买的 insta go ultra 好像也有间隙录相,自动剪视频的能力(不过没试过)
jybox
4 月 14 日
@yuewolf 实际上有两个环节:
- 视频内容分析(从视频生成内容摘要),Flash 或 Lite 都可以,价格其实也只是差了一倍而已,所以直接用 Flash 了
- 视频剪辑(编辑时间线),这个就需要模型有比较好的注意力管理和工具调用能力,至少需要 Flash ,要效果更好就需要 Pro


@dassh 很正常,因为本来就是随手拍拍,更多还是自己留个回忆,然后把几十 G 的原始视频删掉。
february2
4 月 14 日
👍
感觉以后随身运动相机这类设备会往这个方向发展,设备定时拍摄,然后软件一键式生成比较够看的 vlog ,觉得今年下半年应该就能实现了。
现在 dji nano 影石 go 系列都有间隔拍摄功能,只是剪辑部分不太智能。而像 looki 这种影响部分太弱,最后生成图太轻了,这两者结合,再加上 AI 加持的剪辑,应该不错。
yean
4 月 14 日
有意思,发出来试试嘛
jinxgogo
4 月 14 日
这个其实我很久之前就试过了,加了卡点转场等等,实测效果比较一般。两个问题:1. AI 主要是不能抓住用户真正想要剪进去的东西。2. 转场效果比较素,好的方式依然是套模版。
PC9528
4 月 14 日
我也在做一个自动视频剪辑的 cli, 用的是开源的 Qwen3VL 本地跑 50 分钟视频大概要 25 分钟左右, 现在用来剪辑直播里面的舞蹈片段
kokojack
4 月 15 日
本人是剪辑师,看完我只能说,我剪辑行业还能活几年。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1205769

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX