前阵子看到 4 台 MAC 运行万亿参数模型的新闻，当前大致投入在 30 万 RMB 左右，大家预测一下几年后会实现低成本（5W 以下）本地部署万亿参数的模型？

[andrew2558]

如题，大家预计一下

[NewYear]

大模型成熟之后可以出 ASIC

也就是把算法和运算直接用电路芯片实现，由通用芯片改为专用芯片，成本非常低

速度快，贼省钱。

[newaccount]

没意义，等到这个价格可以的时候，大家玩的已经是百万亿级别的了

[andrew2558]

@newaccount 其实很多简单的任务达到万亿参数的模型就能解决了，模型参数更大的模型用于解决那些复杂的问题，两者不冲突

[newaccount]

@andrew2558 #3 不可能的，人总是贪婪的，看到有好的一定想要
比如现在有些 4B 模型在本地跑小任务一样可以完成的很好，但网上那么多大参数的可选，没人觉得“够用”就足够了
商用看成本，产出大于投入就可以干，别说 30w ，就是 300w 只要有用一样马上买，才不会等几年（当然 3kw 的另算，大额财务支出很头大的）
个人才去算经济账，本质上追求的是以一个较低的代价满足个人的小爱好，既然是爱好就会追求极端，总觉得这个结果不太好是不是因为我用的模型不够好，本地硬件只能落个吃灰的下场（冬天也可以当取暖器用）

[0x64]

手机就能本地跑 4B ，效果其实也还行

[Rorysky]

不需要几年，现在就可以，极致量化的 dv4f
128GB mac 就能跑