目前好像感受到了 openwrt 作为主路由的无力感

[dengj3355]

之前觉得旁路由有些多余，现在准备抛弃主路由了
目前使用 N4120 ，内存 8GB 作为主路由，这个配置应该也不算差
部署了太多的东西，经常会断流几秒钟，一断流就会影响到家里的所有设备
目前的想法是买一个 mac mini m4 32GB 作为旁路由和本地大模型服务器
1 、部署 ollama 32b 这个规格的大模型，并且部署 open webui 这类的交互界面
2 、虚拟机安装 openwrt 作为旁路由
3 、使用 docker 部署 home assistant 、adguard home 这类软件
4 、部署一个 nas ，但是目前没想好方案，是用虚拟机部署 truenas 这类还是轻量级的 filebrowser 这种
5 、安装 frpc 方便出门在外能访问家里的大模型（这个好像开销不大）
有没有大佬实操过，这些东西 32g 内存能跑起来吗？

[2han9wen71an]

@lnbiuc 标签

[niubilewodev]

32G Mac Mini 跑 32b 的模型很吃力，个人觉得几乎不可用。
32G 只有 24G 的 VRAM ，模型加载完就要接近 20G ，可用上下文少的可怜。
而且 M4 的内存带宽，跑 32b ，预估不足 5 token/s 。

[laminux29]

11 代 i7 ，流量大了，OpenWRT 都扛不住。你用了 N4120 ，单核只有前者的 1/3 性能，多核只有前者的 1/10 。扛不住很正常。

N4120 这种低端机器，包括 N100 、J1900 等，只是垃圾佬与公众号喜欢鼓吹的低价小玩具。他们发文的思路是，低价，可以用。但好不好用，性能怎么样，他们只字不提，因为提了就没人点赞了。

就像 Deepseek 满血版，铺天盖地的 MacMini 512G 、x79 洋垃圾等等，都能跑，但你仔细看看这帮自媒体，有谁写了 tokens 生成速度。

[Feeling22]

路由器干路由器的活，openwrt 只保留必要的服务，所以设备通过交换机接入 openwrt 。

把各种乱七八糟的服务搞个小主机剥离出来，Mac Mini 也好、x86 小主机也罢
32G Mac Mini 实测跑 32b-4bit 量化模型基本算能用吧，不能更多了

[timeance]

旁路由不挺好的吗，你上面提到的这些服务都很适合放在旁边，例如 LLM 、home assistant 、adguard home

[dengj3355]

@jtshs256 哈哈不是，现在我重装了，只保留了路由和梯子，完全没问题

[chenbin36255]

@lnbiuc 有一个插件可以显示 lxc 容器的 ip 然后虚拟机的 ip 是自己打标签的

[yaleyu]

和 openwrt 有毛线关系？

[dengj3355]

@yaleyu 对哦，表达不准确，是我的装有 openwrt 系统的路由器在我瞎折腾下出现的问题

[SilentlyYc]

我用一个 N5105 做了个爱快做入户第一站，拨号，DHCP 都是他，然后再爱快里面开个虚拟机装 openwrt,只做梯子，然后后面接了一个硬路由，只做 AP 。然后需要梯子的设备网关指向 openwrt, 不需要的默认网关即可，这个在爱快里做静态 mac 就行了。然后再有个设备跑 linux ，我的所有服务都在这台机器里，这样既不影响家里人上网，也满足我自己的需求。

[chuxi]

当然是 OpenWRT 主路由，参考配置： https://github.com/9566618/shadowproxy/wiki

默认国内域名 ip 直接 bypass

家里两张 4090 的 AI 工作站都在吃灰，N4120 卡纯粹是因为没有配置好，个人 R2S 主路由+tplink wifi 稳定打王者 30ms 无压力

[Jacksu]

怎么断流的，会不会上你 CPU 太拉垮了，我也是 openwrt 主路由，n100+16G 内存，跑了 30 多个容器，从没断流影响家里网络过。

[adambob]

我用 openwrt 做主路由好多年了，没你说的那些情况，很稳定。