Ayase - 用键盘代替鼠标的小工具 (直接获取 UI Tree)

[JeffersonQin]

Ayase

项目 repo：Github/Ayase@JeffersonQin

截图在 Github 上有（ V2 不让我发链接（悲

Ayase 是一款旨在使用键盘对电脑进行控制的软件。其专门为<del>像我这样的懒人</del>打造。众所周知，在普通情况下，我们需要同时使用键盘和鼠标对电脑进行控制，然而频繁的键盘与鼠标间的切换回让人身心俱疲，同时使得手腕关节持续疲劳，有害于人的身体健康。Ayase 可以通过搜索的方式精确定位屏幕上的 UI 元素，快速控制。

Features

• 支持高 DPI，多显示器不同 DPI，跨屏幕显示
• 支持 Chrome-based Apps (e.g. Github Desktop)
• 支持 Electron Apps (e.g. Visual Studio Code)
• 支持 WinForms, WPF, UWP (e.g. 网易云 UWP)
• 支持腾讯等多家公司的自研 UI 框架 (e.g. 腾讯的微信、QQ)
• 页面元素高速读取
• 支持拼音、拼音首字母搜索 (e.g. 网易云 → wyy / wangyiyun)
• 忽略大小写

关于 Accessibility 方面的开发以及速度优化的讨论，可以看我博客的几篇文章 (gyrojeff(dot)top)。最终我采用的实现方案是C++调用Win32API / uiautomation.h编译成dll动态链接库，在C# / WPF项目中通过P/Invoke进行调用。在大多数情况下，速度同比提升将近 80%.

这是我第一次正儿八经地写WPF / C++，所以如果有什么问题还请大家多提PR / Issues

Dependencies

• Microsoft.Toolkit.Uwp.Notifications
• Notifications.Wpf
• ToolGood.Words

使用方法

• 开始 UI 识别：Alt + CapLocks (我们会自动还原CapLocks状态)
• 退出识别：Esc
• 下一个元素：Tab
• 上一个元素：Shift + Tab
• 鼠标点击当前选中的 UI 元素：Enter
• 鼠标移动到当前选中的 UI 元素：Shift + Enter

TODO

• 增加语音模块
• 增加设置功能
• 使用AWSD进行方向操作
• 纯控制鼠标模式

[JeffersonQin]

# 截图

使用 Ayase 操作网易云音乐 UWP：

cdn.jsdelivr.net/gh/JeffersonQin/Ayase@latest/imgs/netease-music.gif

使用 Ayase 网上冲浪：

cdn.jsdelivr.net/gh/JeffersonQin/Ayase@latest/imgs/surf-internet.gif

[Namoe]

请问有 release 版本吗，build 有点折磨

[PainAndLove]

mac 能用吗

[internelp]

🐂

[JeffersonQin]

@Namoe 我马上去 github 上发个 release，稍等（都忘了这茬了🤣

[JeffersonQin]

@PainAndLove 不能 这个是用 win32api 实现的主要功能，不过 mac 也有相应的 accessibility 接口，可以了解一下 applescript （ osascript ）以及 Inspector 工具。我现在不用 mac 了，以前用了很多年，玩过这方面的东西。

[gauzung]

一直在用浏览器端的 vimium，也想着有没有浏览器以外也有类似的软件，终于看到了
我感觉 vimium 这种点击交互效率更高，不知道楼主有没有考虑过

[JeffersonQin]

@gauzung 这个工具当初我想到做这个东西的时候其实朋友安利过我。但是我最终考虑下来觉得他还是不够“intuitive”，现在的话是“看到什么就搜什么”，个人认为更加符合直觉。而且如果我用这种模式，大多数情况下我其实只需要加上 alt 键就可以了。不过我觉得这个模式以后可能也可以加入（说实话感觉也挺有意思的

[gauzung]

@JeffersonQin #8 多谢，关注中

[mmmao]

感觉挺方便的

[AoEiuV020]

主要问题还是使用场景，日常使用的话，没谁日常使用没有鼠标吧，而有鼠标的情况这种软件有没什么场合能比鼠标更方便，没有的话感觉就很鸡肋了，体验一下就没有然后了，

[yuancoder]

费手指

[JeffersonQin]

@AoEiuV020 嘛 还是个人喜好问题吧（

[jorneyr]

对 DirectUi 的界面支持怎么样？

[JeffersonQin]

@jorneyr 可以给个例子嘛（我去测试下

[jorneyr]

@JeffersonQin 好像迅雷，VS Studio 都是，或者 WPF 之类开发的界面程序。

[qq316107934]

大概无障碍服务使用者的福音。
好奇是咋拿到 Electron 和 WPF 开发的 UI Tree 的，只知道传统的 Win32 控件绘制可以靠遍历子句柄，但是我前面提到的那俩是自己做的渲染，只能拿到一整个 Webkit 或者 Window 句柄。

[pabupa]

帅！！！！！！！！！！

[JeffersonQin]

@jorneyr 我测试了一下：迅雷, Visual Studio, Visual Studio Code, VMWare Workstation, QQ, 微信, Adobe Acrobat, 任务管理器 这几个都是可以的

[JeffersonQin]

可以搜一下 uiautomation . h , 我是用这个 api 做的除此之外还可以考虑 MSAA，不过我测试下来这个效果会差很多速度也慢很多，而且本身要也要比 uiautomation 老很多了。我博客上有具体的记录：gyrojeff 点 top （置顶的几篇文章后面的十几篇就是