研发版:
你每天都很急,一分钟的文档注释不想去写,三分钟的数据结构设计不愿意去画,一天的代码重构都等不及要完成。
看教程要两倍速,写代码只关心运行,遇到报错只想找个 AI 工具粘贴错误信息直接求解,失去了调试能力根本无从下手。
你学习编程的焦虑,一方面是源自“我写代码跟别人的差距太大了”,另一方面是源自“我想缩小跟别人的差距,但太难了”。
于是安慰自己说别人都是有天赋才变强的,努力也赶不上他们。
第二天网上冲浪依然继续收藏别人做烂了的项目源码,即使你知道那些项目这辈子很难参考,而且技术栈都过时了。你的 IDE 插件总是有几十个常驻,你的 GitHub 仓库里躺着一半是没跑通的 Demo 。你的 PyCharm/VS Code 插件栏总是拉满,什么 Copilot 、Tabnine 、SonarLint 、CodeGlance 、Material Theme UI 、Bito AI ,但这并不能满足你,你总是秉承着多多益善的原则,编辑器套了 JetBrains 又套 VS Code 又套 Vim 又套 Sublime 再套 Atom 再套 Notepad++。
晚上十点半,你看着一大堆编译失败报错飘红的垃圾代码,只好打开终端,输入一些无意义的命令,拍照到朋友圈:Debugging my life.
大模型研发版:
你每天都很急,一分钟的数据清洗不想去做,三分钟的损失函数调试不愿意去调,一天的预训练进度都等不及要跑完。
看论文要两倍速,训模型只关心指标,遇到 bad case 只想找个 prompt 工程技巧直接绕过,失去了问题根因分析根本无从改进。
你搞大模型的焦虑,一方面是源自“我模型效果跟 SOTA 的差距太大了”,另一方面是源自“我想缩小跟 SOTA 的差距,但算力/数据卡脖子了”。
于是安慰自己说别人都是靠千卡集群和私有数据才刷上去的,小作坊根本玩不起。
第二天上班依然继续下载别人刷烂了的开源权重,即使你知道那些权重微调了也打不过闭源 API ,而且架构都落后两代了。你的 notebook 里总是有上百个废弃的实验分支,你的云存储账单有一半都是存了不敢删的中间 checkpoint 。你的训练脚本总是挂满,什么 DeepSpeed 、Megatron 、FSDP 、混合精度、梯度累积、激活重算,但这并不能满足你,你总是秉承着能用尽用的原则,框架套了 PyTorch 又套 JAX 又套 TensorFlow 再套 MindSpore 再套 Colab 再套 kaggle kernel 。
晚上十点半,你看着一大堆过拟合严重、毫无泛化能力的垃圾指标,只好打开终端,对着永远跑不完的 tqdm 进度条,拍照到朋友圈:Pre-training...
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.