20 年左右的 AI 即使 Coding 领域的大部分能力还是在代码补全阶段,生成的代码质量也有明显问题。比如说:AlphaCode 和 Github Copilot 。 和现在的 AI 完全不是一个级别的,只是想不到 AI 的发展那么迅速。所以当时大部分的开发者基于现实做出当时的判断也没问题,一部分的观点在现在来看仍然是正确的。
AI 虽然一直在变强。但它的缺陷,并没有真正被攻克:幻觉、不确定性。现在的技术手段更倾向于,用更多的 对齐训练、context/harness engineering ,降低出大问题的概率。但这些缺陷就会被进一步转移到其他看起来不那么是问题的地方,并逐渐累积,直到,项目整体出现结构性问题。(这些都有解决手段,但都需要外力,不能单纯靠 AI 解决;因为有了额外的人力约束,因此 AI 的需求并不是无限的)
主流观点上,AI 还在进步,还在爆发。从 AI 行业商业角度上来说,是对的。从 AI 工具的本质能力来说,我认为并不是,未来 AI 也很难在短期内有更加亮眼的表现。(吹牛会有更多,但我对 Anthopic 和 OpenAI 目前的吹牛,并没觉得会带来更大的需求提升;因为这些方面的人,已经在用 AI 了;而所谓的能力提升,也只是一个子方面的能力,比如我后续说的,容易模拟获取到结果的领域,比如黑客方面,系统会给出对应的反馈;并不是通用基础能力)
首先说一下所谓的爆发。最近几年 AI 带来的提升,本质来源于 context/harness engineering 这样的 Agent 开发手段。但利用这个技术,提升是明显有上限的。本质上是写一些 if/else 来优化 LLM 模型的用户体验。但这个方式并不能真正提升 AI 。历史上的第一次人工智能危机前,就有人认为靠写 if/else 足够多,程序就能成为真正的智能一样(当时还甚至有顶级的研究员认为一个暑假差不多就能搞定 AI )。那么那次后来的结果,就是 AI 研究沉寂很多年。本轮会不会也是一样呢?我想我的判断是是,但也不完全是,因为还有基础模型能力提升的故事可以讲。
说到 AI 基础模型的提升。我认为,目前已经变缓了。高质量的数据燃料有限,AI 只能指望自己生成数据,用生成的数据继续提升自己,类似 AlphaGo 那样的思路。但 AlphaGo 所面临的世界是简单的,确定性的围棋规则,因此生成数据和环境交互下,是能进一步得到有效数据来提升的。因此 AlphaGo 有很多优势:围棋对局可以快速模拟,规则有明确边界。这样情况下的围棋 AI ,超越了人类。不过即使这么有利的条件下,AI 也并没有真正求解围棋(很显然,围棋的所有可行对局,在数学上是有限的,那么就有一个最优解,即必胜的下法;但围棋 AI 并没有求解到这个解)。回过头来,看现实的 LLM 对应的 AI 。如果走同样的路子,那么也需要能自己生成有效的训练数据,也需要和环境交互才能得到。这个环境是什么?是人类社会的语言交流。但人类产生数据的速度,无法追上 AI 消耗的速度;确实,人类一直在产生大量数据,但 AI 需要的是可以超越自身性能边界的,更高质量的数据。此外,同样和环境交互生成数据,LLM 对应的评估标准也不那么明确( AlphaGo 则可以直接根据围棋规则给出结果),更关键的是,没法快速模拟(有人会说,LLM 模拟人,互相对话,这样可以快速模拟。但问题是,需要突破 AI 能力边界的数据,这种让 AI 自己生成,不借助外部帮助,还是很困难的。不过,这个思路也有价值,就是可以快速蒸馏其他更强的模型,哈哈)。(另外,某些子领域,AI 会更有作为,比如黑客,是否入侵成功,明显是系统可以快速给出回馈的;只要搭建一些蜜罐系统,用来训练模型,那么这方面能力显然会有巨大的提升。但这个并不能完全算作 AI 的基础能力,只能说某些领域就是有 AI 训练的潜力)
基于上述思考,我的判断如下: 1. context/harness engineering 还有提升用户体验的空间,进一步释放基础模型的能力。但它的边际收益会逐渐减少。目前看起来,代码开发方面提升效率约 50%-200% 。并且很可能是上限。因为一个人类,可以有效消耗 token 是有上限的:取决于人类 review 代码的速度是怎么样的。诚然比写代码快,但肯定比不过 AI 生成的速度;因此,最优解应该在,生成的数量恰好达到人类 review 数量的上限。基于这个看法,token 输出其实并不需要无限供应(目前,实际上主要的 token 消耗是在 Agent 自己内部,做 context/harness 的时候,消耗掉的,但这个也会到达 context window 、token 成本、推理速度,这些约束下的一个平衡点)。这个点来看,我认为短期,3-5 年内,AI 体验会上升,单价会更贵,需求随着更多人使用 AI 工具开发而进一步释放,但效率提升和成本的比值很可能会更早达到上限。(我这里没讨论 vibe coding 。vibe coding ,我认为更适合原型生产阶段,不适合严肃的工程开发; vibe coding 可能也许创造一些快速原型的开发工程师的岗位,但交付的产品,除非不考虑维护,否则肯定要人类 review ,这也是自然语言和代码细节本质的差异导致的:即人类掌控项目才能控制项目迭代长期稳定不崩溃)。 2. 靠 context/harness engineering 。但上限肉眼可见:token 成本,和靠 if/else 本身就是历史失败路径。对此不能抱有太高的预期。用户体会到的 Agent 能力大爆发,靠基础模型+这些 engineering 整体达到的。不要小瞧了这些 engineering 的能力。但,可惜上限的存在。 3. AI 基础模型的提升,目前已经不再是爆发期,而是一个稳态慢速提升。由于 AI 基础模型能力进步,只能靠 AI 搜集更多高质量数据(比如开发者和 Agent 交互的轨迹数据),以及协助研发更加快速逼真的仿真系统(通过仿真系统来得到更多数据,当然聚焦于更加 specific 的领域;仿真系统,并不完全是物理仿真,软件环境仿真,某些具体的 case 可以仿真,也是 ok 的); scaling law 时代目前基本已经结束,数据和硬件都没办法指数增长。
可以预见的未来是:AI 公司最终还是要商业化的。AI 要想赚钱,得有客户,并且得有更多客户; AI 如果想要进步,需要有客户,因为要采集客户的高质量数据;最终,不可避免的,高水平 AI 还是会被后发者蒸馏,除非不发展客户了;最终,不会存在高质量的通用 AI 被垄断,除非先发者不考虑商业化赚钱。行业的终态,还是会变成成本比拼、生态工具链比拼。各个非 AI 基础服务公司,对 AI 的使用也会“去魅”,限制 token 用量,更合理的评估 token 单位成本带来的收益,并保持让 token 单位成本收益,和 人类工资单位成本收益,达成一个一致。(当然,specificialization 的 AI 有可能可以被垄断,有专门的用途)
短期来看,AI 并没有充分供应。需求缺口大。因此,AI 产业相关的上游,长期应该会不愁订单,迎来黄金发展期。但当需求增长放缓,就会迎来 AI 泡沫破裂的时期。(条件是(需要同时符合):harness 相关技术达到效益瓶颈期,潜在的生产力用户都已经进入 AI 生态,企业学会 token 成本相处并冷静对待 AI 带来的效益提升。不过,到了这个时候,我估计更多的 AI 数据中心也建的差不多了,token 成本下降,供应也会更加充足。大概有多久?不好说,我暂时预判 3-5 年。很可能被打脸,比如 AI 再次不靠基础性能,再次扩大用户需求面,我感觉挺困难的,目前能用 AI 的都在用,已经扩大的很大了)