关于 AI 对人类的威胁

[socialAnimal]

现在网络上对 AI 威胁论的讨论几乎到了毛骨悚然的地步。其中不乏那些头部人工智能公司的研究员，说什么 AI 末日、若干年内 AI 会消灭所有人类等等。对此我实在理解不了。 现在的 AI 基本就是围绕大语言模型展开的，这种主要处理文本的概率模型它怎么来威胁人类呢？模型没有记忆功能，只能进行一问一答，即使现在能做一些复杂任务，也只是靠在外层套了一个 Agent 壳子来辅助而已。 它到底怎么来消灭人类？至少说说威胁的途径和可行性吧？似乎都在说 AI 会威胁人类生存，但都没说具体威胁手段有哪些。

[passive]

说到记忆，我的短期记忆可能还不如模型的 context 大，长期记忆需要微调模型或者我自己，刻到 ROM 的权重里。小时候每次“熟读并背诵”就是一次微调的过程。

[qilme]

如果只把它当成下一 token 预测器，那确实啥也干不了，发明 coding agent 之前大概也想不到如此能干吧。所以可以没有条件就创造条件，说不定之后有人发明超高性能的端侧模型，然后用蠕虫病毒式的 agent 传播到每一台电脑上，让 agent 可以永久自动运行。

[Thesara]

你可以看一下今天 anthropic 发的

[phrack]

有屁的威胁

我愿意在 polymarket/区块链赌博

现在给你 100 万，5 年后人类灭亡你不用还钱，你跟我都死了

人类不灭亡你得还我 500 万

我相信会有人开这个赌博的

[socialAnimal]

@Thesara 我感觉他们说的很可怕，但我理解不了。