如果两个模型互相蒸馏，最终是什么结果？

[ysy950803]

最近有人说 DeepSeek 是蒸馏了 ChatGPT 的，以此来降低成本，有没有大模型领域的佬来解释下，业界内这种做法算常规吗？

然后我突发奇想，如果两个模型互相蒸馏，反复进行，最终它们会变成一个模型吗？比如说回答的内容会变成一模一样的。从技术上如何解释？

[Muniesa]

这个叫 deep mutual learning

[my101du]

这一片红花绿草，在太阳的照耀下，光影投射到地面，多么美丽啊！

光影照着花草，多美！

草！美！

[ysy950803]

@my101du 笑死，有点形象了。

[GaGaGood]

@my101du 笑死

[YogaHale]

参考近亲交配

[hefish]

直接蒸干了。。。

[renmu]

ai 模型的语料不就是抄来抄去，再加上已经部分语料已经被 ai 污染了

[Izual_Yang]

你就类比图片转码。高分辨率高质量往低转，肯定损失信息，有损编码更加损失。低分辨率低质量往高转，信息量摆在那里不可能凭空生成，虽然有可能训练模型从同类图片去推算，但也只是推算的，就好比 AI 模型也会产生幻觉

[houshuu]

模型的结构是可以做成不同大小，不同结构的，所以在不同项目上的表现也大概率有差异。训练时本身的随机性也会导致不同初始状态的网络产生差异，那么相互学习就能够从其余网络中把这些优秀的特性汇集过来。蒸馏不是抄作业答案而是把目标模型当作老师学习，逐渐让自己能够达到老师水平的感觉。是可以用算法设计把不如自己的部分无视掉的，相互学习相当于好几个学生互相切磋琢磨的过程，理论上是能提高的，大概 5 年前这个概念也是相当火爆