利用精确时间轴精确识别日语字幕

[weiyunjun]

1. 之前尝试过各种本地大模型识别日语字幕，但是准确率都不够满意，尤其是时间轴很混乱，没法正常用。
2. 时隔数月，突然想到，时间轴如果是确定的，那把音频切割开来，一句一句识别，加上 Codex 根据本地识别结果和中文翻译再联网 review ，可能可行。
3. 本地用 whipser-v3 做初步识别，置信度低的找 whisper-v2 再次识别，随后让 Codex 对有争议的结果进行判断和联网查询。最后仍然会有个别结果不确定需要人工确认，但一集动漫一般就几句。
4. 之所以要这么做是因为一些动漫只有精确的中文字幕，但网上公开的日语字幕，例如 jimaku.cc 下载的，不太符合中国人的使用习惯，经常将 2 句合并到一起，而且有不少内部换行。
5. 另外，Bang Dream 的第二季和第三季我没找到任何日语字幕，中文字幕是有的，利用这个我今天制作了几集双语字幕，准确率接近 100%了。
6. 所以大家可以考虑用这个方法复活自己喜欢的动漫的日语字幕了，大部分动漫还是有外挂中文字幕的。

[shiny]

qwen3-asr-1.7B 有没有试过

[shiny]

处理英语和中文的时候可以精确到每一个单词的时间戳

[win8en]

voice box 能做吗？我之前试过一段 5 分钟的 YouTube 视频 丢给他很快就能出带时间轴的双语字幕

[win8en]

说错了，是卡卡字幕助手

[win8en]

[weiyunjun]

@shiny 英文没这个困扰捏，几个月前就可以轻松生成准确率很高的字幕了，一次喂几十分钟的音频都可以，日语一直是老大难问题~

[weiyunjun]

@win8en 没懂，你这不是有精确时间戳了吗？

[weiyunjun]

@win8en 你这不是有精确时间戳和日语文字字幕了吗？

[win8en]

@weiyunjun 没有，都是生成的，原片没有，都是用卡卡字幕助手自动生成的，里面可以配置模型，很强的