openmynet

AI,看起来更像知识的诅咒，你知道的越多就知道的越少。

ds-r1 是以 ds-v3 为底经过强化学习后的推理模型。但 r1 在 mmlu-pro 上的评分要好于 v3 版本，这意味其实很多模型其实是有足够的知识储备，但缺乏对知识的理解与运用。r1 展示了模型经过强化学习后的模型对知识的抽象能力，类似于 alphaGo 。
这些抽象能力足够让 r1 能够理解成语典故等知识，这意味的可以模型可以使用更少的词汇理解更多的知识，使模型不再局限于人类约定的分词语义而由模型重新定义了分词。即分词语义被模型重新定义成为理解知识一种符号。常规的分词模型其分词数量是对于模型来说否合理很难界定。理想的状态是大语言模型可以自己确定分词的数量和分词的方式。

前段时间就有一篇 meta 的论文 Byte Latent Transformers https://arxiv.org/pdf/2412.09871 正在尝试解决类似的问题，从这方面看，我觉得 中文 确实要不 英文 更具优势。

看《泰坦之旅》 是不是

从使用 ai 辅助开发角度我会推荐 rn ，AI 对 js/ts 的支持要比 dart 好太多。