基于 AI/VLM 做 OCR 的需求大吗？

[huc2]

我自己平常用一些简单的 OCR 是直接用微信自带的了，但是一些复杂的功能微信肯定还是做不到的。

1. 识别一些图片中一些抽象的文字，我测了一些发现微信的能力还是蛮强的，会有小瑕疵需要用户手动修改。但是 VLM 非常强并且能帮你排版好。
2. OCR Latex ，论文写作会有用，Mathpix 是收费的并且好像学生认证之后一天也是有限制的。
3. OCR 其他东西：比如网页/图片上的表格之类的，直接生成可以复制到 csv 里的格式
4. VLM 也可以顺便做翻译等其他的的功能

问题：需求是否真的存在？

1. 会用 AI 的人直接用 GPT 就行了，虽然如果有一个专门的工具肯定会方便一些。
2. 如果我不想自己提供 api ，对于不会翻墙/AI 的人，让他们去一些 硅基流动/火山 之类的网站上申请 key 感觉又是一项门槛。

[aeron]

知识库这方面，很多资料是 pdf ，ppt 之类的，没有太精准的工具转成 markdown 这类文本后还能保留原有的结构和内容，所以需要 vlm 来做内容提取

[love060701]

OCRFlux ，开源最佳

[1145148964]

需要。

[noneofmyb7s]

最大的问题是太慢，用 qwen2.5-vl-7b ，不带提问只抽取的话大概是 10s/page ，带一些问题理解的抽取要 20~60s/page 了，传统 ocr 会快得多

[huc2]

@noneofmyb7s 如果只是一个小截图的公式的话速度其实还行。解析 pdf 的话速度慢确实，优势可能就是可以帮你自动排版了，可能如果 pdf 有水印可以自动帮你忽略水印

[huc2]

@love060701 star 了，模型是开源的？其实如果是通用的 vlm 的话，会更灵活一些，比如还能指定输出的格式。

[FengJQ]

效果和准确性确实吊打传统 OCR , 最大的问题是太慢了。 不知道本地部署 OCRFlux 速度怎么样？

[Selenium39]

mistral ocr 效果最好，可以在 https://llmocr.com 尝试一下

[huc2]

@Selenium39 他这种怎么做到完全免费的？感觉很烧钱啊，如果用户多了。