在自己家里搞了个本地大模型基座, 实现了应用内接入 AI 自由.

[wises]

48G 内存小主机, 通过外接显卡埠一个 5070TI 的 16G 显存,经过 claude 的优化分配. 家里内网的一些应用直接局域网接入, 外部通过一个公网域名发布, 给一些广域网上跑的应用接入了 AI, 很好用, 模型是 qwen3.6-35, 基本应用内的一些对话和调用已经足够使用.

期待显卡大降价, 这样我就可以自己开算力中心,小型的可以给朋友用的那种.

[soleils]

速度如何

[wises]

@soleils 和显卡配置有直接关系, 显存越大肯定运行的模型越强, 不过目前这个显卡勉强能用,用来文字,图片处理, 一些在线客服足够用了.

[YanSeven]

比较好奇这个档次的本地智力是属于在原有的应用能力上“聊胜于无，锦上添花”还是发挥了核心的作用。

[wises]

@YanSeven 这么说吧, 如果企业中应用了这个, 用来处理大规模数据还是有用的, 比如文档/单证/会计律师事务所这些单证比较多的还是足够的.

[soleils]

@wises #2 我是说你这套能多少 token?

[ostrichb]

企業還不如直接買一個 DGX Spark 跑，不缺錢買這個

[jinsongzhaocn]

最近几个月折腾硬件不划算，内存涨疯了，动不动就 1 万以上