[开源] 视觉状态机 + Electron，让 AI 自己操作微信/企微/WhatsApp

[jacsice]

写了个东西，开源了：sightflow.dev （代码会在本周同步在 GitHub ，同步在网站上）

一句话：给大模型装眼睛和手。它能自己打开微信、企业微信、WhatsApp ，像人一样看界面、读消息、打字回复。

不是 API 套壳——因为这几个平台根本没给开发者开放可用的 API 。

核心方案：

• 视觉自动化状态机（看窗口、切任务）
• Electron 跨桌面
• 键盘模拟 + 状态流转

最难的部分（视觉执行层）我已经啃完了，代码已开源。上层留了一个本地 Skill Server ，你只需要写业务逻辑（比如自动客诉、销售跟进、群回复），不用碰底层。

适用场景：

• 无 API 的私域自动化（客服、销售、运营）
• 跨 WhatsApp / 微信 / 企微的统一消息处理
• 任何需要“AI 模拟人操作桌面软件”的场景

为什么搞这个？ 因为全球 5000 万+ 企业用 WhatsApp Business ，中国 1200 万+ 企业微信用户，但官方接口要么没有，要么贵得离谱。AI Agent 想落地到最赚钱的业务场景，绕不开这些平台。

现状：

• 视觉执行层稳定，可直接 clone 跑 demo

有场景的开发者欢迎 clone 下来跑一跑，也欢迎讨论。

[MoozLee]

关注下，可以在 rpa 数据采集中使用吗

[partner666]

能把我打副本吗😊

[510908220]

看起来很有意思，体验体验

[xialaoban]

识别速度能做到打游戏的话！

[cairnechen]

怎么解决模型视觉识别的坐标漂移的啊？ opus4.6 视觉识别 800×600 的图片都会缩放 官方说的 1580px 根本做不到

[haoxuexiaoyao]

网址呢

[v1]

但官方接口要么没有，要么贵得离谱

你猜猜能撑多久不封号？

[Ghostsss]

视觉应该是后面发展的一个方向。不过识别 定位 理解 执行 这一串流程，我到现在都没有完全走通，期待

[Ghostsss]

非常不错的思路，使用归一化坐标，从来没想过的方向。

[jacsice]

官网地址： https://sightflow.dev/
github 地址： https://github.com/sightflow-dev/sightflow-desktop-agent

[jacsice]

@Ghostsss https://github.com/sightflow-dev/sightflow-desktop-agent

[jacsice]

@haoxuexiaoyao https://github.com/sightflow-dev/sightflow-desktop-agent

[jacsice]

@cairnechen https://github.com/sightflow-dev/sightflow-desktop-agent

[jacsice]

@MoozLee https://github.com/sightflow-dev/sightflow-desktop-agent

[jacsice]

@510908220 https://github.com/sightflow-dev/sightflow-desktop-agent

[cairnechen]

@jacsice op 你有用通用模型试过这套流程吗？

[caoyang5689]

npm error command git --no-replace-objects ls-remote ssh://[e-mail]/shiflow2023/robotjs.git
npm error [e-mail]: Permission denied (publickey).
这个依赖没放开，win 可以推一个安装包到 git 不

[510908220]

@cairnechen #16 npm error An unknown git error occurred
npm error command git --no-replace-objects ls-remote ssh://[e-mail]/shiflow2023/robotjs.git
npm error [e-mail]: Permission denied (publickey).
npm error fatal: Could not read from remote repository.

[jacsice]

@cairnechen 跑过，能正常运行的