将影片自动转录出字幕,并翻译的本地应用

3 月 19 日
 andyskaura
前几天看到 v 友分享的字幕翻译工具,想想我迫切需要的功能是 生成外语影片中文字幕 功能。
于是调研了下方案,原本打算古法编程的。
但 gpt5.4 真的远超想象,没那么完美,但已符合我的需求,解决了某些电影字幕无->有的跨越。

核心功能:
ffmpeg 分离音频->VAD 本地模型降噪切片->Whisper 本地模型转录(非翻译)->LLM 大模型翻译

分享给有需要的 v 友
https://github.com/AndySkaura/crosssubtitle-ai/releases/tag/1.0
当前只有 mac arm 版本,win 版本等下周 codex 有额度了再督促它干活儿。
只在本机进行过测试

原本想内置一个 qwen 7b ,但还是太重了,不如用免费不限量的 GLM-4-Flash-250414 。有条件的自己本地部署个小模型吧。
3212 次点击
所在节点    分享创造
12 条回复
Daybyedream
3 月 19 日
我现在转文字都白嫖千问 APP 里的 视频都不传直接提取音频发过去还是很快处理好的。
andyskaura
3 月 19 日
@Daybyedream 大模型还是太权威了 我用 Whisper 本地识别,如果不做降噪和切片,和上下文优化,识别准度还差很大意思
arcsin1
3 月 19 日
Whisper 本地识别 只能做些简单的。毕竟量不够
wednesdayco
3 月 19 日
?我刚给我对象弄了一个这个的 demo
cairnechen
3 月 19 日
memo ?
indexError
3 月 20 日
先别写了 认真的,再去做做调查
superhuai
3 月 20 日
有没有好兄弟试试 AV
Daybyedream
3 月 20 日
@andyskaura 主要不着急不是批量自动化的话,千问客户端,音视频里转文字上传之后够用还方便的。我一般也推荐别人用这个。
andyskaura
3 月 20 日
我的目的就是想把 nas 里的 av 都批量加上基础字幕
andyskaura
3 月 20 日
@Daybyedream #8 忘 @了
galenzhao
4 月 22 日
多人的音频分离有啥好用的吗,我现在缺了这一块的实现
andyskaura
4 月 23 日
@galenzhao 问了下 ai ,还是给出挺多方案的。
不过当前项目没用,这项目的模式是 ffmpeg 分离声道,VAD 切分移除非人声部分,Whisper 转录原文,llm 翻译。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1199549

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX