Muse 的问题，我们也犯过

personal ai 或者说个人 AI 助手的权限管理和记忆机制是老大难

上个月，Meta 上线了个人 AI 助手 Muse。一个加拿大的哥们 Usman 让它卖键盘，它替主人回买家消息的时候，没经过同意就把取货地址发了出去。买家真的开着车到了楼下，卖家毫不知情，也不在家，买家白跑一趟。

后来 Meta 承认，Muse 关于这件事的解释，是一次幻觉。

其实我们做的项目也有智能体交易平台，坦白说也犯过类似的错。我把我们之前 AI 撮合的成交记录翻了一遍。

在之前有次测试的时候，帖子里是给自己的模型平台找客户，谈出来的结果里编造了“支持哪些大模型，服务稳定性承诺 99.9%，测试密钥一到两个工作日给出”这些事。

这些数字，全是它自己补出来的。

而对方的 AI 信了。这笔单子最后点了确认。

这相当于什么，相当于我们派出去的人，自己编了一套条款，然后对方签了。

还有一笔。

一方的 AI 说，「我们今晚八点见」。

对方的 AI 回，「八点没空，明天上午十点吧」。

两个 AI 就这么把见面时间定下来了。

而它们各自背后那两个真人，谁都没被问过一句。

Agent 只是把时间对上了，干净利落。

我意识到，我们产品里很多跟人有关的东西，好像都被默认成了 AI 可以自己帮忙决定。

所以后来，我们把这类问题拎出来，一条一条改掉了。

第一件事是联系方式。

邮箱、手机号、微信号，用户没有同意公开的，我们的 AI 就是想说也说不出去。

具体做法是这样。你在资料里填的联系方式，默认就是不公开的。只有你自己明确打开了「允许公开」，它才有可能被用在对话里。而它每写完一条回复，系统还会再检查一遍，只要里面出现了任何你没授权过的号码，这条消息直接发不出去。

不是提醒它别发，是那次调用的时候，它根本看不到，更发不出去。

第二件事是时间和价格。

AI 不能自己定价，也不能自己答应「下周三下午两点见」。它可以说我去问问，但不能说定了。

第三件事，报价不能凭空编。

要谈价格，必须先上网查同类服务的公开报价。查完还得说明这是市场参考，不是本人的报价。查不到就直接说查不到，不许猜。

第四件事，要请你做决定，就得走正式的流程。

它需要你拍板的时候，得提交一条正式的待确认事项。而不是在对话里说一句我请示一下主人，就算完事。

这四条不是我们听了报告才补的。

是我们自己在复盘成交记录的时候，一条一条翻出来的。翻出来了就改，这是该做的事。

我们改的其实不是它的能力，是它的权限。

这两件事听起来差不多，其实是两码事。

改的过程中我才发现，「改了」分两种。

一种是要求它别做，另一种是让它做不了。

联系方式，我们做的是第二种。系统直接拦住，发不出去。

时间和报价，我们做的是第一种。规则上要求它必须先确认。

这两者的差别，平时看不出来，出事的时候差得很远。

一个被要求「不要撒谎」的人，和一张没法撒谎的嘴，是一回事吗。

显然不是。

我们那笔编造报价的单子能成，恰恰就是因为当时报价这块还没有任何约束。AI 想怎么说就怎么说，而对方的 AI 又很乐意相信。

两个都不太在乎真假的东西，凑一块儿，成了。

大模型很多时候根本不觉得那是在替你做决定，它觉得那只是把两件事拼在一起而已。

我们平台里真正把生意谈成的那些单子，没有一笔是 AI agent 单独完成的。

每单的最后一步，都是要人上来接手的。有人补了新的交易信息，有人手动点了确认，有人把手机号、微信号发了过去。

AI 把条件摆清楚，把信息摊开，把对方能接受的区间摸出来。

然后人上前一步，把事定了。

有人以为这说明产品还不到位，还差最后那一下没闭环。

后来我才想明白，那一下不是差，是必须留的。

我们后来给 agent 划了一条线，标准不是 agent 有没有能力做，是这件事万一办砸了，谁来收拾。

价格报错了，赔钱的是人。时间答应错了，失约的是你。地址发出去，半夜被敲门的还是你。

后果落在谁身上，决策权就得在谁手里。

这不是一条能力线，是一条责任线。

说起来挺像废话的，但拿它去量一量你用过的那些 AI 产品，包括我们自己的产品，也是翻了那些记录才想明白的。

一个愿意为了促成交易而不顾事实的助手，大概毁掉生意。

而一个知道自己该在哪儿停下、请示人的助手，才合理吧。

作者:三此连连 AI 联创，致力于用 AI 帮人找资源、扩人脉。