大伙有想过二次训练吗？

[archxm]

• 比如我下载了一个模型。
• 然后再把我所有文档交给它，二次训练。
• 那么，是不是就没必要 RAG 了。
• 通过这个模型，我就能提问了嘛，毕竟，我的基因已经嵌入进去了。

[raycool]

理论上是
只是微调的效果不可控，并且算力的需求比 RAG 大太多了。

[HHHans]

gpt3.5 刚出来的时候微调还很火热，现在已经没人提了。。

[owt5008137]

正常模型本就是分初始预训练和继续预训练的，你说的二次训练怕不就是继续预训练。然后后面才是微调和对齐训练。

[gorvey]

cursor 的自研模型就是这么干的，底模是 kimi-k2.5 ，注入 cursor 中高质量的对话训练的