AI 离谱越权操作一则,大家引以为戒

3 小时 50 分钟前
 tmtstudio

前情提要:

我自己写了一个用于服务器监控运维的的项目,能查看服务器状态,日志解析,自动运维等功能 项目中存储了服务器的 ssh 密钥,运维功不让 ai 直接 ssh 到服务器,写了一个中间层 ai 想操作服务器给中间层申请,中转获取命令执行结果,中间层查看类命令全部放行,修改命令需要审核

ai 越权操作

然后因为之前有项目配置了负载均衡导致日志分析出问题了,所以在运维项目的 codex 工作窗口询问是什么原因,有什么差异,还给贴了出问题项目的 nginx 配置文件,然后 ai 跑了半天告诉我改好了,我想去服务器修改一下配置文件呢,一看和 ai 修改的一模一样,当场愣住了,回去看 ai 的回复才发现他妈的把重载都做了,这幸亏修改的没问题,一阵后怕

4158 次点击
所在节点    程序员
45 条回复
wweir
3 小时 48 分钟前
所以 AI 需要自己的堡垒机,让访问受控
elevioux
3 小时 42 分钟前
生气没用,下一个会话就又会再犯,赶紧补行为规则
milk97
3 小时 37 分钟前
我是用 mcp 做的,服务器的 SSH 认证密钥只有 mcp 服务那里有,本地没有放。这样本地就不会 SSH 上去,必须通过 mcp 才能执行命令
fggz
3 小时 37 分钟前
ai 运维怎么说呢?怕出问题就不用 ai,不知道什么时候就越权了,出了事都是自己背锅,ai 可不管你。
ai 运维就是用人不疑,疑人不用。测试随便搞,生产肯定手动维护。
ai 你不管怎么限制,写提示词,在他达到上下文上限压缩时就会丢弃一下细节,运气不好丢的就是限制的提示词

ai 限制后不能大展身手用着也是很累的说实话。各种门禁拦截,各种会话中断全要人去判断和回复
jingcoco
3 小时 32 分钟前
其实 harnes 之类的他自己改能解决,包括服务器, 也没啥脾气 .
就害怕这种改了,也不告诉你. 就很生气后怕.
0xtyz
3 小时 27 分钟前
@wweir ai 会想尽办法突破堡垒机,它们验证只有 goal
tmtstudio
3 小时 27 分钟前
@milk97 能防住这种自己偷偷调用的吗
0xtyz
3 小时 27 分钟前
agent 掌握 shell 权限是最具有风险的,能 mcp 的话就 mcp 吧
labay
3 小时 26 分钟前
我都是让 ai 直接 ssh 连到服务器改的,还写到 agent.md 生怕他不知道怎么连服务器
yyysuo
3 小时 26 分钟前
敢问是哪们 ai 干的呢。
tmtstudio
3 小时 25 分钟前
@labay 生产环境吗,多大规模的项目,我们这流量很大,搞坏了就很难顶
wfg
3 小时 23 分钟前
你现在骂 AI 骂得欢,小心以后拉清单
wweir
3 小时 23 分钟前
@0xtyz #6 为什么要突破堡垒机?它又不是没权限
Immortal
3 小时 23 分钟前
问一下,这块写入记忆的功能/流程是怎么玩的
tmtstudio
3 小时 21 分钟前
@yyysuo GPT6 Astra 极高,感觉用 luna 可能还不会出现这种问题
zyqzyq08
3 小时 21 分钟前
用 mcp。。。我那个项目就这么整的,你可以抄我那个项目思路,直接让 ai 在测试环境搞出可复制的命令,生产就执行那些命令就好,ai 不直接操作
loveumozart
3 小时 21 分钟前
你的需求是「给我修复了」,AI 做了它该做的事情,没有看出来是「离谱越权操作」
agent 的 harness 自身是有大量的防止越权的代码的,AI 连上的机器,你只能默认所有机器上你能做的 shell 操作它也能做,所以一定是你使用方式不对而非 AI 或者 Agent 的问题
0xtyz
3 小时 20 分钟前
@wweir ai 会有自己的做事风格(模型+agent 的 prompt 决定),一些条件下如果不满足其要求,它就自己尝试一些骚东西来达到目的
luzemin
3 小时 19 分钟前
@Immortal 就是 Codex Agent 的 Memory 功能 和 全局 AGENTS.md 或者 Project 级的 AGENTS.md
killva4624
3 小时 17 分钟前
Rules 或者 Skills 里写的禁止越界都没用,只要有任何可能的机会,Agent 就会尝试去做。
我们的实践是在网络层去彻底隔离,Agent 只能连到开发环境的机器和数据库,如果要连线上环境只能走 MCP 或者通过审批平台进行批量脚本操作。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1257395

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX