给几百 G 的本地截图做一个能搜内容的引擎,我踩过的坑

3 小时 54 分钟前
 MaskerPRC

最近做了个小工具:把我攒了几年、按字节算快 1T 的电脑截图(微信聊天截图、网页截图、报错截图、PPT 截图……)做成一个能直接搜内容的引擎。比如搜「上次那个 nginx 502 的报错」,直接把当时那张截图翻出来。

功能听起来不新鲜,但自己动手做一遍,坑比想象的多。这里把踩过的坑记录一下,给同样有这个需求的朋友参考。

坑一:OCR 不是「接个库」那么简单

一开始想当然:截图 → OCR → 存文本 → 搜,完事。实际:

坑二:索引体积失控

几个月的截图,全量向量化之后索引文件比截图本体还大。两件事必须做:

坑三:查询理解是最容易被忽略的一环

用户搜「那个 502 」,你拿什么去向量库里匹配?查询改写这层一定要做:

效果

现在 300+ 天的截图,一次搜索 1 秒内出结果,准确率主观评价八成以上。最大的收益是「再也不用翻聊天记录找那张图了」。

最后

这个项目的启发是:RAG 这套东西落到个人小工具上,工程量最大的不是向量检索本身,而是数据清洗和查询理解——七成时间花在了这两块。

代码还在整理,如果大家有兴趣,后续开源出来。也欢迎交流你们做本地内容检索的思路。

428 次点击
所在节点    程序员
11 条回复
stonesirsir
3 小时 20 分钟前
先期待一下
zq11211277
3 小时 16 分钟前
支持 感觉这个很有用

以后我们可以 1 分钟电脑截屏保存一次,然后利用楼主这个引擎进行回忆
wises
2 小时 52 分钟前
期待开源...
gswgudujian
2 小时 45 分钟前
期待开源...
Orangeee
2 小时 43 分钟前
👍多谢分享
crackhopper
2 小时 35 分钟前
6 ,应该直接卖钱,订阅。
HeyWeGo
2 小时 20 分钟前
手机里的搜索图片里内容原理是不是类似
homcrazy1
2 小时 0 分钟前
不错哦,别了一些灵感
paradoxs
1 小时 51 分钟前
应该是有一些办法可以减少索引量的,百度网盘,onedrive 之类的,很早之前就可以实现对截图中的文字实现 OCR
needpp
1 小时 42 分钟前
牛,期待开源
babyedi31996
7 分钟前
这……immich 不就是有这功能吗

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1241437

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX