云 llm 越卷越便宜， mac 统一内存本地部署 32b 已经没意义了

[crocoBaby]

硬件成本对比云 llm 已经没法比了，但是看了一眼二手市场 mac mini 依然高居不下

[qazwsxkevin]

其实你应该反边界思考，云 LLM 做不到的需求，还是很大的。

[crocoBaby]

@qazwsxkevin 除了 nsfw 没想到别的了

[xjoker]

隐私部署还是要的

比如人事部 财务部
资料不能外泄

[crocoBaby]

@xjoker 一般都签保密协议采购云 llm 吧

[xjoker]

@crocoBaby 没必要呀 真泄露了你没办法证明是不是它泄露，君子协定

[EdwardKot]

最近也确实有此疑问，但是我还是部署了 asr 、ocr 、35B-A3B ，有些小钱能省（但是主要是手头现有的内存还算大，如果是新买专门用于本地部署的肯定不会）

[xing7673]

mac mini 价格高早就不是本地 llm 需求驱动了，2-3 月还是，但是 4 月后就绝对不是了。

[crocoBaby]

@xing7673 是什么

[crocoBaby]

@EdwardKot 别说为了 ai 特意买大内存的想法没有了，连为了 coding 买的大内存的想法也没了

[slowman]

回到大型机时代了

[crocoBaby]

@slowman 确实，也只能这样了

[xing7673]

@crocoBaby #8 存储上涨，苹果备货清完了 SKU 都卖完了

[YaakovZiv]

私有化部署，目前的接触比较多的是两份财务统计的场景。医院信息科的测试场景。