蒸馏是否类似于“钓别人鱼桶里的鱼”

[easonhui]

一直没明白 AI 圈子里的“蒸馏”是个什么概念，跟钓别人鱼桶里的鱼同理吗？

[zhuhaohenry]

说个相关又不相关的，桶里的鱼不好钓

[cjban]

更像是用网直接捞别人桶里的鱼

[thatlazyman]

感觉是一个人钓到鱼放到自己池塘，但是别人来偷钓 🤣 只是防不了只能谴责，喊人帮忙

[iv2ex]

蒸馏是模仿，是学习别人的思维成果。

所以举例子来说，“从老师那里学知识”就是蒸馏的过程。

[yuanwenpu00]

他桶里的鱼也不是自己喂大的。是从河里钓的。

[weixind]

我觉得更直观的解释是类似“临摹别人的画”。而不是钓别人的鱼。

[Nasdaq]

我的理解是上顶级饭店吃饭，然后反推学习做菜方式。

[coderluan]

是，不过有个前提是现在桶里的鱼本身也来路不正，本来久是违规野钓甚至也是从别人桶里钓的。

[coderluan]

@Nasdaq 小李：隋老师，这人好像在内涵你。

[Plutooo]

自学和找老师教的区别

[LeoWA]

监督学习，同样的输入，拿模型的输出与“标准答案”做比对，然后拟合。

最重要的就是 Cot ，你看那个报告，就是用各种骚操作去反向还原 Cot ，如果只是用结果的话，成效有限

[Frankcox]

我其实一直不知道蒸馏为什么会算是“攻击”。如果一个人付费使用 api 生成数据，那么这个数据的归属人算谁的？他获取到的任何内容难道使用权不归他吗？那他用生成的数据再去训练又有什么问题？难道我用 claude api 生成一段代码，放在我的服务里盈利了，claude 还要跑出来说这个“代码攻击”，认为我的服务这部分属于他们公司？

[x86]

依葫芦画瓢

[hoky]

别人自己去河里钓鱼，蒸馏是去人家桶里钓鱼。
但是我感觉这个去人家桶里钓鱼很危险，因为那条鱼有可能是个蜜罐。

[daliusu]

准确的说法是，你去饭店点了盘菜，然后趴在后厨门上看厨师怎么炒的，回家照葫芦画瓢做了一盘差不太多的

[Meteora626]

@Frankcox 因为 a➗认为 他生成的数据是他的，你的想法没问题，我付费了 我爱干啥干啥

[daliusu]

@daliusu #15 这个厨师自己的菜也不全是自己琢磨的，他可能也是看了网上的烹饪宝典结合自己的实际情况炒的

[Meteora626]

蒸馏就是看别人做题，反推他的大脑想法。楼上说拿网捞鱼的是只蒸馏权重，这个现在做不到的

[GeruzoniAnsasu]

根本不同理。全世界只有 A\在拿这个词汇强词夺理。

我在隔壁说了这是一种释经权：我拥有一本谷蓝经，只有我能使用并解释书里的文字内容，任何人自行读这本书并写作自己的经典就是对唯一神 [AI 拉] 的亵渎，是要被青蒜的异教徒。

[akorn]

说白了就是抄袭。
别人写了个百科全书，你可以用。但是你把书里词条全拖走，自己印书去了。
虽然百科全书也不是原创。但是人家编纂是费了大量工作的。
你上来直接拿结果。你要跟据人家书目，自己收集素材，也不说什么了。