想请教下大家如何图像识别，根据图片或图标转换成文字？

[bronana]

我玩的一款网络手游明日方舟，又更新了，这次的更新我是直接玩不懂了，看看能不能把号卖掉。

游戏没有导出数据的功能，所以只有手动来整了，然而又没有接触过这方面的技术。

如上图所示，解析图片中的图标或文字，识别后转成文本。

弱弱地提一下需求：

由于手机截图不方便，可能需要配合安卓模拟器

• 要么通过安卓模拟器一张张截图以后，导出到我的电脑，再用代码解析所有的截图；
• 要么高级一点，直接用代码连接安卓模拟器，自动解析；

不知道可以用什么技术实现？

[murmur]

你说的对，剑三有个软件分析装备配队就是遍历你的背包截图（原理类似），然后去申请个免费的 OCR 配额去识别文字

抓包这个得有足够数据泄露，目前我知道原神是因为有官方 API ，所以登录了米游社之后拿 token 可以去软件自动跑

[wanei]

utools 上面好像有 OCR 插件，可以直接图片识别文字。

[bronana]

@wanei #2 不是文字，有些东西不是文字😅
太难的话，我其实也可以录个视频发网上算了😅😅

[bronana]

@bronana #3 号上面东西有点多，想写个文字版本的省流，但是一个一个的写太多了，好多都是重复的。

[brianinzz]

@bronana yolo?更像目标检测 除非有训练好的模型不然训练有一定的成本 需要样本和标注 想玩玩可以为了卖号没必要
也可以看看这个 https://www.v2ex.com/t/763083

[Deplay]

@brianinzz 这里似乎并没有必要使用 dl ，因为图标并不会有很大的变化，顶多受 dpi 的影响，其特征也没有什么识别的意义
@bronana 可以参考 pyautogui

[dreasky]

不算目标检测 只能算图像检测或相似度检测 前提是你要有图标和文字的对应表

[catsoul]

没必要卖号，新活动就是仿饥荒的模式，但是因为做得不完善，导致玩起来感觉很无聊，必须很痛苦的熬过前期。

想拿资源和皮肤有两个办法：

第一是花点钱找代练，眼不见心不烦；
第二是偷懒过关，每次进去，随便乱配个队伍，然后无脑刷资源图，但是不配置角色进队伍，空队伍进图，进去之后直接退出战斗，也会掉落物资，熬到第五天（偶尔运气好能熬到第七天第八天）等怪物打到大本营直接退出本轮，可以结算 50 分左右

我昨晚上边看电影边这么刷，已经把皮肤刷到手了

[cheese]

你举得例子里面有很多其实不是 ocr 是相似度检测，也就是你提前训练好了模型，告诉它啥是啥，有你标记训练集的功夫，你自己就直接把背包标完了

[shakoon]

为了卖号还要这么折腾，很可能并不能提升卖价。建议直接录屏+语音介绍

[Asakijz]

要不用 maa 挂机刷刷？方舟的号好像卖不了多少的，留着偶尔回来抽个 10 连也行

[LavaC]

新活动也没必要卖号啊，我这种纯咸鱼玩家也不喜欢这种活动，还不好抄作业，大概率就不玩了。

[liudaolunhuibl]

自己整理一个数据集，然后去百度的 ai stuio 上用 paddle 训练一个模型出来

[Juszoe]

OpenCV 模板匹配就完事了，用不着 AI

[lonewolfakela]

没玩过方舟，但是这种东西难道不应该是挂个什么抓包的软件就能把数据全扒拉下来么……

[yaphets666]

昨天看人用 AI 地下城与勇士搬砖 就是用的视觉 AI

[SummerGua]

明日方舟的一个数据站用了截图识别： https://penguin-stats.cn/report/recognition 里面有源码链接，可以看看

[theArrowOfCupid]

安卓截图的话，可以用 scrcpy ，没必要用模拟器

[LeegoYih]

如果只是卖一个号，直接列个 excel 就完了，写脚本完全是南辕北辙。
如果是卖一堆号，可以用猪场的 Airtest
https://airtest.doc.io.netease.com/IDEdocs/airtest_framework/0_airtest_info/
https://github.com/AirtestProject/Airtest

[NoOneNoBody]

如果涉及的图标数量很少，可以自己逐个图标弄一张图，并输入描述文字
用 opencv.sift 或者 opencv.matchTemplate 就能匹配(后者需要两张图的图标尺寸很接近)，无需深度学习
其实工作量最大反而是前面的输入，如果检测次数在 20 次以内，还不如目测完成算了