claude code 实践心得:飘才是最大的敌人

6 月 18 日
 ximaoyang

现在基本都是 100% cc 写代码了。也用过 superpowers 之类的牛逼哄哄的 skill 。现在基本每几天就能看到一个自动做 multi-agent 项目的框架,skill ,产品,都疲劳了。个个描述的都很科幻,启动一堆机器人帮你干活,你就一边歇着去。具体使用起来的感受一言难尽。发现都是等几个小时,然后写出来是一个 UI 看起来确实是我刚刚开始说的东西,但是内部是一坨

而且这些 multi-agent 框架现在都在比谁更智能,使用者可以完全不用动。但是程序员是不喜欢这种感觉的,程序员是喜欢透明的。因为我们知道天上不会掉馅饼。低代码框架这么多年也没推开,就是因为那玩意做个简单的不怎么改的小网站,小商城确实是可以。但是你要放公司层面这么搞,最后改 bug 的不还是自己。

我觉得现在 ai 编程最大的问题就是模型会飘,就跟游戏传声筒一样,最后一个人复数出来的话跟第一个人说的完全对不上。如果你启动一个 agent 它可能飘 1 步,你启动多个 agent ,agent 跟 agent 还是上下游关系的话,最后,飘到 100 步开外都不止

6420 次点击
所在节点    程序员
37 条回复
lolo1
6 月 18 日
复议,所以不明白为啥很多人还在开发什么基于角色的流程 agent ,毫无意义。信息在传递过程会无限失真,一个 cc 能搞定就不要用多个乱七八糟的 agent
wonderfulcxm
6 月 18 日
用 muti-agent 的场景是什么?我很好奇。
在 ui 这里,是多个 agent 同时设计不同的页面吗?
ximaoyang
6 月 18 日
@lolo1 是啊,而且宣传的例子都差不多,开头就是一句“我想做一个网上商城”然后模型就 ask 你要怎么做啊,要什么架构啊,然后生成一份超长的 SPEC ,然后吭哧吭哧的开始干。

但是哪家程序员是这么干活的。我们不可能从 0 开始做一个网上商城。我们都是在维护一个已经用了很多年的系统,然后每天从 jira 上拿 ticket 下来做。每个 ticket 基本都是给这个购物车加个 xxx 功能。给用户评论加个啥之类的,偶尔会来个大的,比如加个新的模块,这就够大了。

当然你可以把小 ticket 丢给 superpowers ,它也可以帮助拆解,然后丢该子 agent 。但是我发现这就是杀鸡用牛刀,写出来的还是一坨,我只能打断它让它不要去提交代码,我先看一遍。然后发现这都没必要用这玩意。直接把 ticket 用 cc 自己分析一下,然后让 cc 写完别提,然后自己审核一下,虽然慢,但是之前 superpowers 写的那是啥玩意。
ximaoyang
6 月 18 日
@wonderfulcxm 就是需求拆解,然后去做
ota
6 月 18 日
那有专门做规范层的 skill 嘛?推荐推荐。我也想知道怎么保持统一性。
agent 生成时严格按照 Schema 结构定义,不然回滚重新来。然后加个全局约束作为锚点。
为了防止 agent 对上下游的自然语言依赖,这一层要清洗成 Schema 。agent 之间禁止传送自然语言?这样指数飘就能缓解不少了。但工程实践具体怎么个 flow ,还有待 op 实践分享。
ximaoyang
6 月 18 日
@ota 我自己也是一坨,你说的这个确实我也需要,哪里有这样的好东西,给我来一打,跪求
回滚这个是个好主意!
GeruzoniAnsasu
6 月 18 日
> 我觉得现在 ai 编程最大的问题就是模型会飘,就跟游戏传声筒一样,最后一个人复数出来的话跟第一个人说的完全对不上。如果你启动一个 agent 它可能飘 1 步,你启动多个 agent ,agent 跟 agent 还是上下游关系的话,最后,飘到 100 步开外都不止

本质在于 LLM 的输出即思维。这是一个类似不确定性原理的模型 —— 想要观测模型思维就必须让它输出,想让它输出就必须先有输入,有输入就会干扰其输出权重。结果就是,你无法同时获得( LLM 对概念的精确理解|LLM 对概念的自主思考)。这两个共轭量的「乘积」整好反应了模型的底层实力,有这个基本原理存在决定了不可能用外部治理的手段把模型能力提升到更好模型的水平。


> 个个描述的都很科幻,启动一堆机器人帮你干活,你就一边歇着去

但凡做过真实产品的人都知道这「从信息论的意义来说」就不可能。所以自动化 agent 产品的核心价值在于怎样定义最适合 agent 发挥,同时人类能最好、最简单掌控局面的协作模式。其实绝大多数产品都没在尝试除了「让 AI 根据 prompt 放手干」之外的模式,效果必然都在同一个不尽如人意的水平上晃荡。
ximaoyang
6 月 18 日
@GeruzoniAnsasu 共轭量的「乘积」。我去,专业人员
xialaoban
6 月 18 日
尝试过 subagent/muti-agent 直接工作,也试过 cc 指挥/codex:rescue 多 agent 工作,superpowers 会要求很小的实现,配合多 agent 确实看起来很嗨,但我真的没感觉到效率提升,也没有大家宣传的可靠性。
全新项目和旧项目维护,改到最后都会变成一坨屎。。。
大量代码我看不过来,又只能让 agent 自己 review ,它又抓不到重点,还经常丢三落四。。。
和几年前比起来依旧是上下文丢失的老问题,写着写着就不再主线上了,总是钻进小细节无限套娃
ximaoyang
6 月 18 日
@GeruzoniAnsasu 确实是,我就觉得这不可能嘛,我自己都知道我给的信息不全,它是怎么做出来的,无中生有
ximaoyang
6 月 18 日
@xialaoban 我一直觉得 agent 自己 review 自己是一个骗局。agent 它写的代码没有小问题只有大问题。开另一个 agent 来审核,大问题它又看不出来,小问题不用它看。纯浪费 token
ota
6 月 18 日
@ximaoyang https://docs.piebald.ai/ 这个也许有点意思,可以尝试尝试。
我看了几个功能挺不错的,我也刚上手。
Agent rules
Permission modes
Pausing the agentic loop
Context management
Subagents
Tool calls + Builtin tools
Default system prompt
Using @pierre/diffs for file edit diffs ✓
Branching

工具我觉得也就这极限了,llm 底层结构决定了漂移的必然性。
getadoggie
6 月 18 日
多 agent 会失真 其中一个原因就是子 agent 没有足够主需求的 prompt 。然后,AI 的本质其实是文字的概率、他们并不理解,所以还是要提示词工程。
lucifer9
6 月 18 日
“你自己去注册个公司,根据目前网上的流行趋势,做一个看起来很酷炫的产品,在社媒上进行推销,然后去拿融资,等到公司估值 100 亿的时候卖掉,把所有的钱打到我的账户里,OK ,开始去干吧。”
bwnjnOEI
6 月 18 日
试过/loop 吗 好很多
deepbytes
6 月 18 日
cc 的 workflow 用脚本精确定义每一步呢?这个是不是大大降低了飘的可能性
lear7
6 月 18 日
两个月前一个同事提醒我装 superpowers ,我装了,感觉超级浪费 Token ,半天就卸载了。

后面刷小红书就跟 OP 说的一样,打不动就 GitHub 排名多少多少的 Agent 或者 Skill 出来了,但是我一个都没装,浪费时间。
jjx
6 月 18 日
重写时经常这样

啪啪啪的都一顿操作, ai 说都改好了

其实进去一看, 很多特性都没有

最后只好一个个校对

avenger
6 月 18 日
试试马尾哥,这两天比较火的一个项目,专门防止过度防御代码的

https://github.com/DietrichGebert/ponytail
robinxplorer
6 月 18 日
人为给他把控方向 告诉他怎么做才合理 他就会给出令你惊喜的输出

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1221211

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX