类似 CDN 一样的 AI AGENT 硬件能不能玩得转呢？

[yueji]

有没有可能做出一款这样的硬件：
类似路由器，用户购买后是一个本地的算力。比如 8G 显存的一个 minipc.
通过互联网，把所有买了同样设备的用户连接起来，共同跑一个 比如 120B 的大模型。
只有买了这个设备的用户可以无限的 使用这个 共创？算力？

[kongmeng12]

你只能提供百分之一的算力，却要无限使用这个模型？还是说你认为有一大部分的人买了这个设备，却极少或者压根不使用这个模型？

[106npo]

大模型用内存都嫌慢，你这还要跨互联网调用😱

[Solix]

NV 发明 NVLink 是干啥的

[dream7758522]

你说的多个设备共同跑一个 120b 的大模型应该是不合适的。如果每台设备可以跑 120b 的大模型，把任务分解到各个设备上单独运行有点儿可行。但是任务调度是个问题。而且任务太大的话还要拆分。

[xialaoban]

貌似有说法现在限制大模型的不是算力，是带宽

[laikicka]

你真能跑通 openai 估计要收购你了