把 Joy-Con 和 Apple TV Remote 接进 Vokie，作为 Agent 的语音触发器

最近给 Vokie 接了两个外设入口：Switch Joy-Con 和 Apple TV Remote 。想法很直接，把语音输入从键盘快捷键里拆出来，交给一个独立的物理按键触发。

Joy-Con 这一版主要是在验证交互。把手柄按键作为 Vokie 的录音触发器，识别结果直接进入当前的 Agent 会话。需要连续描述需求、讲调试思路，或者人不在键盘旁边时，比反复切窗口顺手不少。

<amp-youtube data-videoid="H46YMoYKne4" layout="responsive" width="480" height="270"></amp-youtube>
Apple TV Remote 这版技术上更麻烦，卡点主要在 Siri 键。它不像普通键盘按键那样能直接走系统快捷键映射，常规的 key event 监听和第三方映射方案也不太好处理。自己接的话，通常会碰到设备识别、事件捕获和系统版本兼容这些问题。

所以这部分我们直接做进了 Vokie 。连接 Apple TV Remote 后，可以直接把 Siri 键作为语音触发器，不需要再额外配置映射工具或脚本。

还有一个之前没讲清楚的点：Apple TV Remote 本身就带麦克风，并不是只拿它当一个按钮。它的收音灵敏度比我预期好，几颗实体键也可以承载常用操作。拿在手里有点像 PPT 翻页器和手持麦克风的结合，甚至有点像拿着话筒唱歌，触发和说话都很跟手。

<amp-youtube data-videoid="bu5GQb6_YeA" layout="responsive" width="480" height="270"></amp-youtube>
也有人问：既然已经坐在电脑前，为什么不直接按键盘快捷键？

如果遥控器只是把一个组合键换成另一个按钮，这个问题确实成立。这里的区别是，触发、拾音和几个常用操作都在同一个手持设备上。视线可以一直留在屏幕上，手不需要来回找键盘；靠着椅背、站起来讲，或者在屏幕前走两步，也不会打断输入。

所以它不是在解决“够不到快捷键”，而是在把 Agent 的语音输入从桌面操作变成一个独立的手持交互。实际用下来，体验差异不只在 ASR 的延迟和识别率，也在触发、拾音和物理反馈是不是一体的。这也是它比快捷键更跟手的地方。

如果大家对 Apple TV Remote 的事件处理，或者 Joy-Con 的接入方式感兴趣，我可以后面把实现细节单独整理一下。也欢迎提其他设备，我看看哪些适合做原生支持。

ETiV

8 月 19 日

我只是跑通了概念验证，Siri Remote 是借的公司会议室的

跑是能跑，但是用遥控器做语音输入还是没办法远离电脑，因为没法切换 session ，离远了看不见🤣

最近我看 M5Stack 出了个 StopWatch ，感觉这个可以拿这个做套方案来玩玩，蓝牙、Wi-Fi 、Mic 、OLED 屏都有，有屏幕了就远程可以做 session 选择了
但做这些只是折腾，毕竟人手都有一个带屏幕的手机，这些功能都可以装进手机里…