用视觉和 AI 把 Vimium 功能弄到全屏幕任意按钮

[garywill]

不管你用过 vim 没，vimium 应该体验过

搞的一个实验性玩意，目前只需要 300 行 python 代码，能粗浅地识别屏幕上任意位置的“物件”，并用键盘去点击它们

现在就只是简单地用了 opencv 的 MSER 算法

使用视觉的优势有：

1. 跨平台
2. 无论 GUI 库
3. 无论 Accesebility API 是否可用

也已经有其他的能够在 Mac/Windows 上通过某些 API 找到按钮的项目（在 readme 里列出了）

虽然这种类型的软件里，好像只有浏览器上的 Vimium 成功了。其他的者还算在实验状态

若能把 AI 、API 、视觉三者结合，可能会比较好用。目前的演示看起来界面有点杂乱，想像改进后应该会好吧

各位有什么 idea 来 share 一下

[garywill]

https://github.com/garywill/vimouse

[SWALLOWW]

挺好的

[expkzb]

会不会在辅助残疾人的功能里已经有类似的实现了

[7gugu]

图有点小，看不清楚具体的作用

[garywill]

@7gugu 把图点开呀

[garywill]

@expkzb 有吗？残疾辅助不是干朗读文字之类的事吗？

[7gugu]

@garywill 点开很糊，你那边能看清？

[7gugu]

@garywill 噢，我的问题，插件默认只是放大了，没发现可以跳到图床上

[zhangdszq]

这个已经有了哈 https://www.v2ex.com/t/648227#reply23

[PRStarDust]

之前用过一些全桌面的，要么速度不够快，要么就是准确度不够，经常有些按钮识别不出来或者错位

[PRStarDust]

先 star 一波

[zagfai]

我也有过这个想法，哈哈哈

[iX8NEGGn]

哈哈，我也有过这想法，但界面一复杂后，一是识别正确率问题，二是就算识别正确也眼花潦乱，后来还是采用了 “眼动仪+ autohotkey + AI 修正” 来抛弃鼠标

[anjiannian]

这个之前 vimperator 和 tridactyl 都有实现，他们用的是字母或者拼音的检索，不用二次确认选中的元素是 DE 还是 DF ，比如需要选择 vimium ，可以<leader>+f 之后直接敲 vim ，多个可以继续敲 ium 筛选

[remenberl]

mac 上有 vimac 和 homerow.app 两者是一个作者

[garywill]

@iX8NEGGn 哇你用了眼动仪？！ 最终产品使用体验如何，快让我们看一看

[20015jjw]

nice

[hackpro]

@garywill #1 这个是 chrome extension 吗
是 python runas backgroud service 还是怎么用啊😄

[garywill]

@hackpro 不是 extension ，就是直接在 windows/Linux 桌面上运行那个 python 文件

[hackpro]

@garywill 明白 谢谢