1w token 每秒

[donkeylucky]

设想一下 如果 opus 5.5 gptimage2.5 MiniMax h3 这样能力的 AI 可以跑出 1w tps 会出现什么？ 是不是 90% 的软件不需要了 ？ 影视行业不需要演员了？ 所有码农消失？ 股市发生巨大变革？

[maocat]

“知识的海洋”
“全是大便味道的”

[sentinelK]

瓶颈跟性能没什么关系。
核心还是上下文长度、注意力机制、上下文捕获能力，以及最终的概率泛化能力上。

[dcvsiug]

h3 可以实时直播了

[Nasdaq]

丢，那刚想出来一个念头，AI 直接落地了（文字方面）。

[cvooc]

没啥用 mimo 有每秒 1000t 的 api, 体验下来还是会受到本地命令执行速度的限制

[JohnSwit]

有一家公司就是把 Llama 3.1 8B 模型权重直接固化在芯片中，速度能到是 1.7W token/s 。

虽然把 opus 这种级别的固化在芯片上的可能性不高，但是其他差不多的模型如果能固化在上面，装一个芯片可能就拥有相关的能力，还是挺强的。

https://chatjimmy.ai/ 可以在线体验一下速度。

[gitlight]

如果你说的能够实现，以后的软件就是多个业务领域本体约束+Agent 实时翻译自然语言的方式，具体实现某些功能是不经济的，因为会被其他 Agent 分钟级地反编译出来，不如把开发 token 成本转到 runtime 上。。

不过我觉得就算码农会消失，软件工程也不会消失

[flyico]

以后的大趋势，应该是念头说出来，AI 直接输出可执行的 native binary ，连 coding ，编译都跳过了。