我做了一个可以直接在白板上和 AI 对话的开源项目, 真诚期待您的意见

7 月 19 日
 heack

演示:

大家好,最近自己瞎折腾了一个项目 PenEcho。

我平时会做瞎折腾一点物理和数学,经常使用白板和手写笔。以前想让 AI 帮忙时,常常要先把半成品推导重新打成 prompt ,再解释符号、图形和上下文。整个过程挺麻烦,也很容易打断自己的思路。

所以我就想试试:现在的 AI ,尤其是 GPT-5.6-sol、Claude Opus 4.8 和 Fable5,到底能不能看懂我在白板上写的东西?

于是就做了这个项目。没想到最后的效果比预期好很多,AI 可以理解手写公式、图形和它们之间的空间关系,然后把回答放在画布旁边。

为了控制 token 和响应速度,我没有把整个大画布都发送给模型。画布逻辑上是 20,000 x 20,000,但只会保存有笔迹的 512 x 512 区域。

每次请求主要发送当前 viewport、笔迹热点、图片和几何信息。一次典型的 low effort 请求大约包含几千个输入 token ,输出通常在 1,000 token 左右。

使用 API 时,费用一般是几美分。如果已经订阅了 Claude Code 或 Codex ,实际成本还会更低。

目前支持:

项目地址:

https://github.com/erickong/penecho

1856 次点击
所在节点    分享创造
6 条回复
0xo
7 月 19 日
不错不错
hhacker
7 月 19 日
这个真的太棒了 大模型越来越强 也在越来越多的领域可以结合
heack
7 月 19 日
@hhacker 是的, 尤其是 k3, 效果一点不比 sol 差!
est
7 月 19 日
怎么觉得前几天在 HN 看过
heack
7 月 19 日
@est reddit 上面的那个 1700 多赞的帖子就是我发的...
TrackBack
7 月 19 日
看着不错,感觉和前几天火的那个哈利波特日记本有点像

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1228319

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX