微信 iOS 版 8.0.18 “聊天图片搜索”功能的工作原理是什么？

[microka]

微信 iOS 版 8.0.18 已广泛支持“聊天图片搜索”功能：二维码、截图、人物、食物、植物...
https://www.ithome.com/0/603/437.htm

微信支持聊天图片搜索上热搜！网友：出点有用的功能有多难？
https://news.mydrivers.com/1/815/815307.htm

好奇这个识图搜索是调用 iOS 的 api ？还是用微信自己的识图引擎？
可以排除云端识图，刚试了开飞行模式也能识图搜索。

[JeffGe]

开飞行模式怎么能排除云端？关键字和 OCR 可以一起保存到本地数据库啊

[czfy]

微信这种国民级应用，手上拿着的数据多到你无法想象

[microka]

@JeffGe #1 “聊天图片搜索”功能选项刚开启的，没多久就开飞行模式，然后打开一个之前没搜索过的群聊，都能识图搜索，而且能看到随着时间的推移索引关键字逐渐增多，很明显就不是通过云端来识图的。

[microka]

@czfy #2 所以你意思是？

[vandort]

看着感觉上像是图片打 tag 和调用本地 OCR 服务（ iOS 的或者微信自己的）

[em957]

微信上周日，后台自动下载 http://dldir1.qq.com/weixin/Kara/KaraImage.mlmodel.zst


参考 apple Classifying Images with Vision and Core ML
https://developer.apple.com/documentation/vision/classifying_images_with_vision_and_core_ml

本地 OCR 服务可行性高一点

[microka]

@em957 #6 意思是微信调用了 iOS 的 api 进行本地 OCR 吗？后台自动下载的 KaraImage.mlmodel.zst 是给机器参考的样本？