以前手写操作系统，手写数据库... 是程序员的浪漫
现在 AI 时代得多加个手写 LLM
✨ 特性
- 完整训练流程: 涵盖从 预训练（ DONE ）、SFT 到 DPO (WIP)
- 低门槛: 无需云端 GPU ，同时兼容 Mac M 芯片
-
为学习而生:
- 内置 teacher AI，引导式教学
- 手写模型架构，且不追求性能和效果，仅使用经典算法做入门实现
- 有类型注释，懂的都懂 🤷🏻♀️...
🚀 开始吧！
每个章节相互独立，可任意开始
也可直接让老师带你，比如：
# 在 Cursor ，Claude Code 或任何带 Bash Tool 的环境中：
@teacher 带我预训练
- 预训练: 手搓 10M 的超小模型（比 Qwen3-0.6B 还要小 60 倍）
- SFT (WIP): Qwen3-0.6B 版加法器
- DPO (WIP): 反向安全对齐，Qwen3-0.6B 越狱破限
1
Select Language