之前的发帖 向大家介绍了 我最近构建打磨的一个课程 cookllm 收到了很多朋友的关注和支持
然后最近正式开始预训练 -> mid-training -> SFT -> RL 这些步骤
我目前调试的小模型是 29M 的小模型 然后目前使用 opencsg fineweb 开始预训练 在训练过程中 这个会碰到一个重要问题 如何判断你的模型训练的差不多了 继续优化的提升很少了 这个时候就可以搬出来 scaling law 来推算一下
通过公式的计算 我的 loss 降低到 3.1 左右是比较合理的 然后和 GPT3 论文中对比了一下 误差不大 模型继续训练确实到了 3 左右很难继续优化了
图二是训练过程中模型回答的变化 可以看到最开始还是胡言乱语 稍微跌代了一段时间之后就好了一些 最近在仔细打磨这个小模型 我想把一些现代架构的设计都融入进来
以及最后 所有的内容都会更开在 Cookllm 中 大家可以实时观看到我的提交记录 关注模型的进展
目前尚无回复
Select Language