之前的发帖 向大家介绍了 我最近构建打磨的一个课程 cookllm 收到了很多朋友的关注和支持
然后最近正式开始预训练 -> mid-training -> SFT -> RL 这些步骤
我目前调试的小模型是 29M 的小模型 然后目前使用 opencsg fineweb 开始预训练 在训练过程中 这个会碰到一个重要问题 如何判断你的模型训练的差不多了 继续优化的提升很少了 这个时候就可以搬出来 scaling law 来推算一下
通过公式的计算 我的 loss 降低到 3.1 左右是比较合理的 然后和 GPT3 论文中对比了一下 误差不大 模型继续训练确实到了 3 左右很难继续优化了
图二是训练过程中模型回答的变化 可以看到最开始还是胡言乱语 稍微跌代了一段时间之后就好了一些 最近在仔细打磨这个小模型 我想把一些现代架构的设计都融入进来
以及最后 所有的内容都会更开在 Cookllm 中 大家可以实时观看到我的提交记录 关注模型的进展
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.