扩散大模型-Mercury 真的超级快

[shewhen]

前段时间，有个名不见经传的小公司 Inception Labs 搞了个大新闻，说是开发出了全球首个商业级扩散大模型 （ dLLM ） Mercury 。 现在可以直接体验了 https://chat.inceptionlabs.ai/ 贴一个体验视频： https://files.catbox.moe/qevn9m.mp4

贴一个相关文章： https://mp.weixin.qq.com/s/T4HuN3Wy0PHUFRjW6Ds6Ag

Diffusion ，则是反直觉的，直接从模糊去噪从而到清晰的过程。 就是你问他问题，他不会有整理逻辑，按 1 、2 、3 、4 ……步骤回答你的想法，而是脑子直接想好了所有答案雏形，但这些答案全都是模糊不清的，然后一步步把所有答案一起变清晰，直到生成结果。 用生活里的一个最常见的例子就是去配眼镜，当你拿掉眼镜看东西的时候，一整片都朦胧不清，但你确实都看到了，随着一片片镜片加上去，最终你看清了每一个字。 所以 Mercury 生成的结果都是一大片模糊的乱码，然后一顿 quickly quickly biu biu biu ，ber 得一下就全搞定了。

[anan1314git]

试玩了一下, diffusion effect 的动画效果还挺酷炫, 有一种外星人👽在思考的感觉

[liuyang1985]

广东人看到 dllm 一时无语

[iLmessi]

@liuyang1985 #2 delay no more

[wangjiang]

编程能力感觉还是差一点，让它写一个躲避球游戏，快是快，但是碰到如下问题：
1. 障碍球无法生成
2. 移动边界设置未生效
3. 移动方向有 BUG ，如按左后，再按右还是向左

提示错误，修改多次后依旧存在问题

[Goooooos]

先不说效果，快是真的快
就像你问我一个 5 位数乘以 5 位数，我能 0.1 秒内回答出结果

[paopjian]

我觉得编程领域 transform 至少还有上下文,一次一次往外蹦, 代码不至于东一榔头西一棒槌, dllm 这个就成了一块一块收缩, 到函数调用的时候会不会直接就忘了其他地方怎么定义的

[heganghua]

@wangjiang 我好像一次就生成了， 而且非常快

[wangjiang]

@heganghua #7 我也是一次生成，很快，但是有着上述问题，你没碰到这些问题吗，如果是使用他们的例子，那基本是不会出错的

[heganghua]

@wangjiang 在生成躲避球的游戏例子上是没有碰到任何问题，后续也让它生成了一个贪吃蛇的，好像也符合预期。但是在刚刚让他生成一个 sql 转 Entity 的工具的时候好像碰到问题了， 连续多次询问都生成不了我想要的格式。

[CapNemo]

试了一下，快是确实快，准确性就不太行了

[FlashEcho]

diffusion models 的输出尺寸不是固定的吗？而现在 LLM 用的架构可以让输出一直“流动”下去，这个模型是怎么解决输出尺寸问题的？

[565656]

@chesha1 #11 大哥 llm 也是固定的尺寸，你看的是两个字其实后面都没 mask 掉了

[FlashEcho]

@565656 #11 现在 LLM 结束输出是有一个结束标记的，这个结束标记是 LLM 自己给出的，但是 diffusion models 的输出尺寸是在输入之前就确定好的，我是这个意思

[FlashEcho]

深度看一下官网介绍，又闭源，又不和 SOTA 比，也是离谱到一定程度了，被拿来当 baseline 的都是什么老掉牙的模型了，能吹的只剩快了

[chor02]

@liuyang1985 llm 都唔好得去边