在线体验 16K token/s 的新大模型部署架构

[netox]

在 HN 上看到 AMD 收购那家把模型权重烧到芯片里的 taalas 的消息, 考虑到 gpt 5.6 相比 gpt 5.5 实际体验并没有多在的改进, 感觉或许把权重烧到芯片里, 没准是条路子

帖子里有他们的模型架构体验接口, 自己试了下, 16k token/s, 不敢想象要是有 gpt5.5 这样的模型这么快, 体验得多么好了


https://chatjimmy.ai/

[cowcomic]

我印象他们家好像都是做小模型的，之前都是 10B 以内的
最近好像放话要做 qwen3.6-27b 的，不知道进展如何

[netox]

@cowcomic HN 上原贴说下一代芯片正在做, 估计模型可能也会他们自己训练或者跟 AMD 一起搞, 利用 AMD 自己的技术(我记得 2022 年 AMD 还收购了 PENSANDO 这家做 DPU 的公司), 这样的话估计搞集群肯定就不只 27B 了

[SmiteChow]

不可能的，一天一个模型可以，一天一个芯片？

[dreamdragon]

有正常逻辑想不到的使用场景吗，这个确实很反常

[netox]

@SmiteChow 为什么会一天一个模型? 如果有个高速 gpt 5.5 级别的模型, 感觉还行? 而且它技术上可以把权重换掉, 只不过相对麻烦

[ddoki]

@dreamdragon 智能客服场景，小模型加高速输出。那可以承担的并发就很客观，降本肯定能做到

[litian98]

这个模型确实快，但是智能太差了，基本感觉用不了的样子，最简单的那些常识性问题能回答得差不多，但是稍微复杂一点点的问题就不行了

[javalaw2010]

我： “你好”
AI： “很好”

————————————

虽然目前体验智能不佳，但是等大模型发展到一定阶段，确实是一个很好的方向

[NoDataNoBB]

确实是个好主意

[ayyll]

@litian98 还行？我让它写个快排 Generated in 0.036s

[june4]

@SmiteChow 象 ds v4 flash 这种的，已经过了那个可用门槛，只要够快和便宜，哪怕落后点又怎么，毕竟不是什么任务都要顶级模型才能完成

[nightlight9]

确实非常快，但是有点蠢

[est]

@SmiteChow @litian98 @dreamdragon

我觉得这个模型最适合的场景是 自动驾驶决策。

https://blog.est.im/2026/stderr-11

[BingoXuan]

@cowcomic
deepseek 激活也是 13B 。这时候就是 xilinx 出马了，通过 pcie 重新烧录权重数据。那样 n 张互联就能跑 deepseek v4 flash 0731 了。主要问题是如何把权重数据变成可烧录。

[cowcomic]

@netox
@BingoXuan
芯片群的方式感觉效率损失会很严重，之前看到的都还是单芯片的策略

[fnd]

快是真快，但是错误也有点离谱，胡说八道。

[holystrike]

“详细列出任天堂自创办以来发布的所有游戏”

：很难！由于有超过 3000 多款游戏发布，以下是近似完整的游戏列表：
xxxx
yyyy
zzzz

Generated in 0.119s • 14,024 tok/s

完全来不及反应一次出完。滚轮拨了好几圈到顶部看结果。

“不要只说难，要全部列出来”

（没了）

[Raw778]

快是真的快，蠢也是真的蠢，全是胡说八道。

[WayneCmd]

我要来经典一下了：

不过如果未来能够完全实现的话，时间的维度就可以像是被压缩的无法感知了，自动驾驶，预测未来

[timethinker]

我想到了《 2001 太空漫游》里面的 HAL9000 被戴夫鲍曼一张一张的拔下了存储卡的画面。