大模型的训练是不是到头了？

[nosugar]

GPT5 发布后用了感觉没有质的变化，可能是部分场景的调优，拼训练数据，拼各种细分场景的优化，感觉训练数据就这么多，以后各家的水平会无限接近，会拼各个细分领域

大家觉得以后大模型还会从哪方面发展？以后是否是更注重大模型的实际业务需求落地？

[kunkunzhang]

不是行内人就别评论了。。。多调查调查不是坏事

[icemaple]

你要不把你的内容输入到 GPT5 呢？

[ScotGu]

点进来之前我以为 NVIDIA 要黄摊子了呢。

[gazi]

多模态，通用世界模型。 前路漫漫呢

[showonder]

2 年这个发展速度已经够快了。。。这行业里还有很多要做没做的东西，空间大着呢。。。

[clemente]

还有多模态和 MOE 呢

只能说纯语言的模型快到头了 (不过数据集还可以继续增长)

[JamesR]

很明显没有，大模型至少还有个二次大升级，大模型它还可以收集各个用户反馈成功与否，来进一步大提升自己某个问题的准确率和它本身的洞察力。
就看谁家大模型掌握的用户问答数据更多了。

[love060701]

基于 Transformer 的 LLM 应该是到头，Scaling Law 基本失效。其他方向目前还没看到能让 LLM 大幅进化的迹象，实现 AGI 还需要新的技术出现。

[catazshadow]

AGI 不可能的

[gpt5]

那不正是做空 ai 概念股的机会

[AEDaydreamer]

Openai 估计是到头了, Anthropic 和 Google 油还很多.

[huanxianghao]

首先应该解决 AI 的幻觉问题，经常性胡说八道

[exploretheworld]

堆参数和训练文本的模式可能走到头了，要开始卷算法了把

[hahiru]

你可以试一下 qwen3 的 30b-a3b 模型。
以后可以拼小模型的性能。
小模型微调+行业数据+内部文档+本地部署

[JontyChen]

远没到头啊，到头的时候是老板一句话把产品做完了，把下面牛马都裁掉

[lovedebug]

针对人类学习的科学研究还没有到头~

[trungdieu031]

至少目前还没到头。

不过你可以说现有范式下的 pre training 趋于平缓了，test time training 还远没看到上限，作为例子，本次 GPT5 pro 模式下，数学等逻辑推理能力提升很大，幻觉也大大降低了(但大部分人可能都用不到)。这是 o 系列模型进一步提升的效果。而且 OpenAI 最近接连在 IMO 和 IOI 上连续获得金牌也足以说明一些问题。

我看很多人说 GPT5 智力下降了，表现在连个 9.11 和 9.8 的大小都比不出来。这一方面是 OpenAI 路由的问题，本来这些数学问题无论大小都要用 thinking 模式，如果只是路由到直接输出的基模，不管谁家的都有可能大错；另一方面也可能大多数用户也不知道这些常识，什么时候要用什么样的模型里面也是有点门道的～

目前的大模型能力在继续增强是毫无疑问的，但也不是没有缺陷。on-line learning, memory, long term planning 这些还都要进一步突破~

[jdz]

@kunkunzhang 尽说片汤话

[putaozhenhaochi]

没呢 互联网公司还没大规模裁员呢

[re2ikotr]

感觉 pretraining 这套确实到头了