我用 Rust 写了一个日漫汉化工具

134 天前
 9yu

tldr: https://github.com/mayocream/koharu

文字检测模型用了基于 YOLOv5 和 DBNet 的 comic-text-detector ,OCR 模型用了基于 transformers 的 manga-ocr 。

程序用 Rust 和 Tauri 编写,界面用的是 React + Konva.js + TypeScript ;更详细可以看仓库的 README 。

程序支持兼容 OpenAI API 的任何后端,比如 LM Studio ,使用时注意打开 CORS 。

准备加上 segment 和 inpaint 功能,还在施工中……

刚学 Rust 三个月,写出来的第一个程序,还望轻喷 orz

3693 次点击
所在节点    分享创造
12 条回复
loveqianool
134 天前
yidinghe
134 天前
以后直接用多模态 LLM ,因为多模态 LLM 不仅能识别文字内容,还会根据漫画内容来推断其真实意思。
RedNax
134 天前
好赞!
等多模态彻底成熟了是不是能直接修图嵌字……
ovtfkw
133 天前
哪里有汉化
neteroster
133 天前
@RedNax

已经有一些辅助的,比如
https://github.com/dmMaze/BallonsTranslator

多模态完全成熟之后也许可以全自动化
cijianzy
133 天前
这个不错。
qinghuazs
133 天前
为什么不搞韩漫的
9yu
133 天前
@yidinghe 现在手动把漫画图片喂给 ChatGPT / Claude 也可以达到这个效果,不过我暂时还没尝试集成进程序里;感觉可以试试!就是 API 费用可能有点贵。
9yu
133 天前
@neteroster
@RedNax
1L 分享的 manga-image-translator 这个项目其实可以全自动化,但是是 Python 写的,但是思路是差不多的:
Detection / segment -> OCR -> LLM translate -> SD inpaint

Koharu 还差 inpaint ,我打算这周加上去。
Python 的程序感觉不太容易分发,Rust 写的不需要其他任何依赖,方便一些。
9yu
133 天前
@qinghuazs 因为基本上没看过……但是想学习韩语,韩国画师好多。
xzaf
133 天前
厉害了,赞赞赞!
lizhenda
131 天前
不错哦,如果能直接改图就更好了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1127149

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX