mkdirmushroom

@maolon apple 的优势其实还是生态，本地模型完全可以用家庭服务器跑，但是肯定不能接入苹果的软件就是了。

为啥要用移动设备跑本地大模型，如果实在在乎隐私，完全可以在家里搭建一个家庭服务器来跑啊，内网直接连，外网穿透连。（我现在就是这个方案）

@mkdirmushroom
@lchynn 8845hs 的 npu 算力不是浮点数，是整数 16TOPS

@lchynn 买了啊，目前是我的主力家庭服务器，ollama 7b 推理肯定没问题啊，大部分电脑都随便跑的，主要还是看内存带宽的。我还试了 qwen 的 72B 4bit ，大概 2 ，3Token/s 吧。

我目前是 PVE 分了一个 32GB 内存的 ubuntu 跑 ollama ，基本上都用的 14B ，大概能有 10 几 token/s 吧。

大佬既然是小主机全闪的话，万兆网口是怎么解决的？

甲骨文真正诠释了免费的就是最贵的，我 3 月初好不容易注册成功了，也升级了，不到半个月被封了，那种过山车的体验很不爽。

@uniqueman 看你内存大小了，内存大一点带宽高一点，理论上 72B 都能跑，不过速度比较慢。

我注册了十几天的升级号今天也被扬了

@sampeng 谢谢回复，因为手里正好有两根闲置的 2T 的 SSD ，不想额外再买 HDD 了。加上后面要买个小主机当作家庭服务器，NAS 系统也是搭建在其中的。另外额外买了个 AP 是因为卧室的 WIFI 信号有点差，小米的这个没有天线放在卧室也不是很碍事就买了。发这个贴的目的是想问问大家基于这些设备有没有更好的搭配方式。