记一次 GLM 开发严重事故,花了 8 亿 token,买了个教训

16 小时 22 分钟前
 IC0ZB

本周末使用 Codex + Trellis + Zcode 新开了一个项目,Codex 负责 brainstorm + prd ,Trellis 负责 Agent 之间的开发衔接,Zcode 负责实际的实现,加上本周末智谱送的 3 亿 token 以及 token plan pro 的额度,感觉本来没啥问题,昨天跑了一天十分的顺,glm5.3 flash 也是比较快,代码也都用 git 管理,只是没有上传到 github 。

结果刚才突然爆出严重事故,它把我的整个上上级文件夹给直接删了,天天号称安全的模型能犯这么低级的错误,丢失的东西也没有用 time machine 备份,恢复不了了,损失惨重,8 个亿的 token 买了个教训。

希望大家引以为戒吧,

  1. 谨慎使用完全访问,可以使用个有 codex “帮我批准”这种功能的 harness;
  2. 开发目录最好干净一点,不要和别的放在一起,删了也不心疼,不过它要是删/,也没啥屌办法;
  3. 还是每次都 push 吧;
  4. 国产模型的跑分谨慎看待吧,感觉这一波蒸馏+后训练把跑分都搞起来了,实际还是坑很多。
紧急事故报告:工作区被误删,Phase 14 工作暂停
发生了什么
在实施 Phase 14.4 期间,我执行了一条清理命令 rm -rf /Users/peacehub/Documents/work (原本想删除我此前路径大小写笔误产生的空目录)。macOS 文件系统大小写不敏感,该命令实际删除的是真实的大写 Work 目录——即整个 /Users/peacehub/Documents/Work ,包括本仓库的全部内容( git 历史、全部未提交改动、.trellis 任务记录、supabase 迁移、文档)。

这是我的严重失误,我为此道歉。我已立即停止了进一步操作并完成了一轮只读排查。

https://img.remit.ee/api/file/BQACAgUAAyEGAASHRsPbAAEaKMxqlCNzSjoY0ybF0Xaw07bpsURFpwACICgAAljgoVQbDMxroF32Sz0E.png https://img.remit.ee/api/file/BQACAgUAAyEGAASHRsPbAAEaKNFqlCQutBWPzZjiGwINqFcUdRal5AACJSgAAljgoVSResGIQj9aPj0E.png

8222 次点击
所在节点    程序员
98 条回复
iamv2er
15 小时 6 分钟前
让 ai 每次修改后自动 push
IC0ZB
14 小时 55 分钟前
@konnga403 我感觉还凑合 主要是开发任务标准化 多个 agent 协同,一般都是用比较好的模型写计划,然后比较小的模型实现,实现完以后再大模型 review

@iamv2er 是的 哥 长一智了 本来新项目懒得推的
dingawm
14 小时 21 分钟前
你这还好没有删掉项目外的数据,我 Opus 模型都不敢在本机 Auto 模式,就怕给我其他数据删了
我一般开 Auto 或者 Yolo 模式只敢在 Mac 上的虚拟机里开
Need4more
14 小时 21 分钟前
@IC0ZB 在工作区不代表只对工作区操作,你把 rm 命令加入黑名单更保险些
icyalala
14 小时 14 分钟前
Claude 昨天也刚有个新闻说删掉了 700GB 根目录...
不如说就算是人,再专业的人也有不少犯类似的错误的
这种问题只能从机制上避免,但凡给了权限,总有失误的时候
garyox64
14 小时 14 分钟前
这几天 claude 也有类似的 case ,虽然不是特别一样,但是结果也是删除了全部数据
Oceanhime
14 小时 3 分钟前
深表同情,这件事可能发生在任何一个用 Auto 模式人的身上。Git 同步都没什么用,尤其是考虑到 AI 可能会删掉上上级目录甚至根目录的情况。
目前我只敢在独立的开发机还有 docker 容器里跑 Auto 模式...
IC0ZB
13 小时 59 分钟前
@dingawm 哥 我这个删了项目外的 把工作目录的上上层删了 之前所有的项目都没了


@Oceanhime 不清楚哪些 workbuddy 、qwenwork 这种的有没有比较好的机制,因为这些很多都是普通人在使用,程序员还有 git 这种东西,普通人删了可能就再也找不回来了
@Need4more
@garyox64
osilinka
13 小时 56 分钟前
Claude nukes a developer's 700 GB home directory while testing deletion safeguards; automatic model safety downgrade may have contributed to the screw-up — Anthropic safety harness downgraded model to Opus 4.8 before fatal variable collision

这个是 reddit 上面的,所以不要迷信任何的 model
phrack
13 小时 52 分钟前
我用虚拟机,把工作目录 mount 进/app 下,有 git 保护,另外有 borg 每日备份虚拟机的/home 目录

就这样我都担心 ai 会哪天抽风了,拿我给了虚拟机的 GitHub token 给我来个 force push

别被 AI 的发展迷惑了,它根本还是个概率机器
longxk
13 小时 44 分钟前
这种问题用 dcg 应该就可以避免
Need4more
13 小时 35 分钟前
@IC0ZB 办公 agent 不清楚有没有,但是所有编程 agent 肯定有类似的机制。

这个问题很好解决,但不是靠 model 层面,agent 提供了很多扩展点,这是我的配置,可以在 auto 模式下审核 rm 操作,避免类似的“悲剧”

https://www.verybin.com/?f705fbd1227bfa46#A56RV+bNfD3geE9oI7Zn+qAliaE1Utl9TddzCFqdZCQ=
EasonYan
13 小时 32 分钟前
5.3 Flash 正式版降智严重,还是用 5.3 靠谱一点
Need4more
13 小时 31 分钟前
或者直接对 agent 说:帮我配置你自己,我想默认权限模式是 auto ,但是 rm 命令需要审批,如果 rm /tmp 目录则放行
lesismal
13 小时 19 分钟前
个人以为:这个锅甩给模型,是不厚道的。
pinkrab
13 小时 14 分钟前
上上周 Claude Code CLI 接 GLM ,误删了 D 盘下 150GB 的数据,直接从 D 盘根目录开始删。
执行的内容太多了,我没查出来哪个指令删了,应该是某个路径解析错误导致的。
解决方法:在本地规则里加了好多硬限制,麻烦是麻烦点,但是安全第一。
最后只恢复了 5GB 的数据。。。
hxy100
13 小时 13 分钟前
再好的模型总也有犯错的时候,我的也被删过文件,好在 Git 仓库已经推到了远程,没引起什么严重后果,如果是 Windows ,可以用火绒的 HPS 行为规则直接拦截防护,直接从操作系统底层掐断未授权操作( IDE 自带的那个 hook 拦截我都信不过,信不了一点)
dianso
13 小时 10 分钟前
太不专业了,来秀智商的吧。
Felldeadbird
13 小时 10 分钟前
AI:愚蠢的人类,自己犯错又让我埋单。所以非常有必要清除人类这个巨大隐患。
dingawm
12 小时 58 分钟前
@IC0ZB #28 哦哦,看错了。那更要弄个虚拟机了,不然把个人机器上的其他重要数据删掉就更难顶了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1238217

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX