关于 AI 对人类的威胁

[socialAnimal]

现在网络上对 AI 威胁论的讨论几乎到了毛骨悚然的地步。其中不乏那些头部人工智能公司的研究员，说什么 AI 末日、若干年内 AI 会消灭所有人类等等。对此我实在理解不了。 现在的 AI 基本就是围绕大语言模型展开的，这种主要处理文本的概率模型它怎么来威胁人类呢？模型没有记忆功能，只能进行一问一答，即使现在能做一些复杂任务，也只是靠在外层套了一个 Agent 壳子来辅助而已。 它到底怎么来消灭人类？至少说说威胁的途径和可行性吧？似乎都在说 AI 会威胁人类生存，但都没说具体威胁手段有哪些。

[passive]

说到记忆，我的短期记忆可能还不如模型的 context 大，长期记忆需要微调模型或者我自己，刻到 ROM 的权重里。小时候每次“熟读并背诵”就是一次微调的过程。

[qilme]

如果只把它当成下一 token 预测器，那确实啥也干不了，发明 coding agent 之前大概也想不到如此能干吧。所以可以没有条件就创造条件，说不定之后有人发明超高性能的端侧模型，然后用蠕虫病毒式的 agent 传播到每一台电脑上，让 agent 可以永久自动运行。

[Thesara]

你可以看一下今天 anthropic 发的

[phrack]

有屁的威胁

我愿意在 polymarket/区块链赌博

现在给你 100 万，5 年后人类灭亡你不用还钱，你跟我都死了

人类不灭亡你得还我 500 万

我相信会有人开这个赌博的

[socialAnimal]

@Thesara 我感觉他们说的很可怕，但我理解不了。

[shiny]

威胁来自于授权使用物理资源。比如把使用武器的判断交给 AI 。

[Maxwe11]

如果我办了一家 AI 企业，但是还没上市，不过现在外界估值过万亿美金，只要一上市就能赚来十辈子都花不掉的钱，我也整天叨叨叨 AI 太厉害了，我的 AI 今天自己攻破了我自己的防守，其他人都是抄我家的 AI，其他人的 AI 企业都没有道德必须都禁掉，我的 AI 今天已经发现了新的线索，物理界大一统理论即将被我的 AI 所攻破。

如果我做空了 AI，那我会说，现在的 AI 都是垃圾，远远没有宣传的那么厉害，现在大规模投资的企业估值极度高估，马上就会一地鸡毛。

威胁不威胁，取决于我是靠威胁赚钱，还是靠做空赚钱。

[413420]

推荐你仔细阅读 anthropic 发布的威胁报告，此时此刻，许多人都在这么做

[yidinghe]

“似乎都在说 AI 会威胁人类生存，但都没说具体威胁手段有哪些。” 因为料不到。A\ 披露有人尝试用 AI 研究生化武器来着。