V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
Adamdad
V2EX  ›  NAS

DIY NAS (All in boom) 回来交作业了

  •  
  •   Adamdad · 31 天前 · 3874 次点击

    All in Boom 组装完成汇报及踩坑经验分享

    大家好,我的 All in boom 组装完成已经有一段时间了,想给大家汇报一下情况,以及期间所踩的坑。如果有朋友能从中得到经验就最好不过了。
    原帖链接想给家里配一台 NAS (All in boom),动手前想让各位大佬评论一下

    硬件配置部分

    • 机箱:安钛克 P101-S
    • CPU
      • CC150
      • 另有一块 i3-8100 用于调试以及第二台 NAS
    • 主板:Z390 太极 Ultimate
      • 板载有 AQUANTIA® / Marvell 万兆网卡
      • 两个 Intel 千兆网卡
    • 内存:32GB × 4 (金百达银爵电竞散热款
    • 硬盘
      • 16TB × 4 (京东自营的东芝 MG08 )
      • 系统盘:512GB NVME 固态硬盘
    • 额外网卡
      • 网卡 1:2.5G 网卡 TL-NG421
      • 网卡 2:双口 SFP 万兆网卡 迈络思 CX4121A
    • 交换机:磊科 GS10
      • 8 个 2.5G 电口
      • 2 个 万兆 SFP
    • UPS:APC BK650M2-CH

    系统架构

    • 主系统 PVE
      • OPENWRT 虚拟机直通了:
        • 2.5G 网卡(做 WAN 口)
        • 万兆 SFP (做 LAN 口)
      • TrueNAS Scale 虚拟机直通了:
        • 主板的 SATA
        • 万兆 SFP
      • Windows 虚拟机直通了:
        • Marvell 万兆网卡
        • 主板的无线网卡
    • PVE 管理网卡:主板上的其中一个千兆网卡

    我踩过的坑

    1. 内存条问题

      • 问题描述:刚开始贪便宜买了爱国者的内存条。在京东自营上买了 4 根 16GB 的爱国者内存条,折磨了我十多天。当测试的 IO 增大时,TrueNAS Scale 系统与主系统就会各种重启,还留不下什么有效的日志。重装了多次系统后,怀疑是内存条的问题。使用 MemTest86 测试后发现内存条确实有问题。
      • 解决方案:更换为 金百达 的内存条,通过了 MemTest86 测试,之前的问题再也没出现过。
    2. PVE 上为 TrueNAS Scale 创建虚拟硬盘

      • 问题描述:用两个 512GB 的 NVME 固态硬盘作为 PVE 系统盘(我理解是相当于运行在 “RAID1” 模式,安装 PVE 时只能选 Btrfs ,不给选 ZFS ,安装器给出的解释是两个固态硬盘型号不一样)。为 TrueNAS Scale 创建虚拟硬盘作为 SLOG 、Metadata 和去重。这样做一旦 NVME 硬盘坏了或者 PVE 系统坏了,ZFS 池可能无法恢复。同时,这给主系统盘带来了很大的 IO 压力,加上内存条有问题,导致系统经常死机。
      • 解决方案:改用更换内存条后,我不再使用虚拟硬盘给 TrueNAS Scale 当特殊设备,这样至少机械硬盘没有挂掉的情况下,可以通过新的 TrueNAS Scale 系统导入池保住数据。
    3. 主板上的 AQUANTIA® / Marvell 万兆网卡

      • 问题描述:大多数网上的 OPENWRT 固件无法驱动该网卡,即使我后期编译好了自己选驱动的固件,也没有继续尝试,因为已经使用了 TL-NG421 和 CX4121A ,没必要浪费时间了。
    4. 网卡 SR-IOV

      • 问题描述:虽然可以实现,但在硬件足够的情况下,直接直通更为简便。由于第一个大坑浪费了太多时间和精力,后期不太想折腾这种可能引入不稳定因素但收益不大的配置。

    其他

    许多老哥提到不要把路由器系统放到 All in Boom 里,非常感谢各位的血泪教训。不过我真的喜欢 x86 的性能,所以还是这么做了。同时准备了一台 ARM 的软路由在旁边,一旦出事,只需要拔两根线插两根线,作为一种补救措施。

    求助问题

    最后我有一个问题问问大家:

    现在用软路由科学的最新最稳定的方式/软件/协议是什么?
    我坐标某河北小城,用 SSR+Passwxll 以及 OpenClxsh 配合 V 都不好使,订阅的 SS 也不行,配合 mosdns 也不行,太难受了。急需大神出出主意。(同样的 V ,手机上用软件就可以,非常神奇,我猜测是 DNS 这部分没弄好,但是我也不太会这部分)

    感谢大家的帮助!

    45 条回复    2024-11-12 16:55:06 +08:00
    MYDB
        1
    MYDB  
       31 天前
    针对结尾,没有稳定的方案,只能不断根据实际网络结构和需求优化,比如 clash: 下载机场订阅的配置后根据 https://wiki.metacubex.one/config/手动修改需要修改的部分。其他的应该也都有 wiki 或者 readme
    linghan
        2
    linghan  
       31 天前
    我也想知道各位软路由科学上网咋配置的,我自己搭的用来也很难受,最近用 pve 装了个 op ,用的 Mihomo 做代理,发现油管正常,但是 tg 没法用
    saobilin
        3
    saobilin  
       31 天前
    @linghan passwall2 我感觉蛮好用的,tcp 全端口转发刚好不用配置 ssh 的代理服务器,我这边油管和 tg 都能用
    vegetablebird
        4
    vegetablebird  
       31 天前
    看得我口水流出来了,好强大啊这配置!
    COW
        5
    COW  
       31 天前 via Android
    太长不看,就问问电费多少
    WizardLeo
        6
    WizardLeo  
       31 天前
    结尾部分,建议用 singbox"或者 op 上的图形化界面 homeproxy",比 xray 系稳定。
    seki
        7
    seki  
       31 天前
    MG08 在这机箱里面噪音大吗,待机和工作分开来看
    linghan
        8
    linghan  
       31 天前 via Android
    @saobilin 好的,感谢,我试试看
    xuhuanzy
        9
    xuhuanzy  
       31 天前 via Android
    passwall2 吧,openclash 纯反人类
    devli
        10
    devli  
       31 天前 via iPhone
    我用的 singbox ,花了大概一周时间从头学习,然后自己手撸规则,把自己访问的网站都定制成了规则集,精确分流,目前用着很舒服。我也是 pve ,创建了 openwrt 的 lxc 容器做旁路由,因为是 x86 ,所以无脑 tun 模式,这个旁路由完全可以换成任意 linux 发行版。
    Misyo
        11
    Misyo  
       31 天前 via iPhone
    Mihomo proxy 可以了解一下,很好用
    morota
        12
    morota  
       31 天前
    用 singbox+passwall2
    最好是装个旁路由,iStoreOS 之类的,跑在旁路由上,然后需要科学的机器网关指到旁路由
    badgv
        13
    badgv  
       31 天前 via Android
    主路由 ros ,做对所有内网设备做 udp53 的 mangle 规则标记路由给旁路 openwrt ,op 使用 psw2 ,基于 geosite 和自己添加域名的 fakeip 模式,ros 路由 198.18 段 ip 给 op ,所有内网设备网关均为主路由 ros ,旁路 op 随时离线都丝毫不影响内网设备上网,op 是群晖 920+用虚拟机跑的,还有个 n1 的 docker op 做备用,群晖 op 掉线 ros 自动切换路由给 n1-op ,ipv6 是 ros 给全内网设备做的 SLAAC(禁止分配 ipv6 的 DNS),仅供参考
    badgv
        14
    badgv  
       31 天前 via Android   ❤️ 1
    @linghan tg 是用的 ip ,如果你代理软件支持开 socks5 代理,那给 tg 配置一下 socks5 代理就行了,pc 和手机端的 tg 都支持 socks5 设置
    lolizeppelin
        15
    lolizeppelin  
       31 天前
    都 All in boom 为什么不直接用 linux 还用什么软路由?
    sakuramanstein
        16
    sakuramanstein  
       31 天前 via Android
    这个 cpu 不是没有核显么
    awinds
        17
    awinds  
       31 天前
    用过 pve 装东西的痛苦,升级系统起来特别麻烦
    limitsy
        18
    limitsy  
       31 天前
    既然已经 PVE 了。为啥 TrueNAS 还选 Scale 不选 core ?
    ScotGu
        19
    ScotGu  
       31 天前
    PVE 套 TrueNAS Scale 就是为了 ZFS 么? PVE8.2 本身不是支持创建 ZFS 池嘛?
    sunnysab
        20
    sunnysab  
       31 天前
    我也是 安钛克 P101-S 。请问你的机箱背板走 SATA 线方便吗?怎么为感觉背板有点窄…
    sanquan
        21
    sanquan  
       31 天前 via iPhone
    @linghan tg 没有域名 你要把特殊的 ip 驾到规则里
    4NF
        22
    4NF  
       31 天前
    我是 J4125 ALL IN BOOM
    Thymolblue
        23
    Thymolblue  
       31 天前
    想问一下楼主这一套不含机械硬盘整机功耗是多少?
    目前我预想的方案是 B550+5700X ,然后查到整机待机功耗是六七十瓦,由于制程原因好像功耗下不去。现在正准备等明年的 B850+X9700 的方案。
    fionasit007
        24
    fionasit007  
       30 天前
    PVE 装虚拟机是不是电脑不能经常开关机啊,我是需要的时候再开机,然后在 pve 里转了个黑群晖,但是经常 pve 起不来,报硬盘什么的出错
    Adamdad
        25
    Adamdad  
    OP
       30 天前
    @MYDB 感谢,你说的对,没有一劳永逸的方法,那个东西永远在变,好在新的技术也一直在涌现出来。我从 vmess 的换到了 vless 之后目前可以正常用了,不知道能撑几天,但是我会花时间把新出现的都学一学。
    Adamdad
        26
    Adamdad  
    OP
       30 天前
    @vegetablebird 还好,哈哈,还算够用了,我也不需要很新的平台,老平台核心数和内存都够了,再加上 Z390 老板子,扩展硬件也够用了。
    Adamdad
        27
    Adamdad  
    OP
       30 天前
    @COW 没有功耗计,不知道,抱一丝
    Adamdad
        28
    Adamdad  
    OP
       30 天前
    @WizardLeo 感谢,最近一定学一下 singbox
    Adamdad
        29
    Adamdad  
    OP
       30 天前
    @seki 这一套放在餐桌旁边(光纤入户在这里),白天在客厅里听不到声音,只有夜深人静坐在餐桌旁才能听到。硬盘工作时坐在旁边,白天也能听到的。
    Adamdad
        30
    Adamdad  
    OP
       30 天前
    @xuhuanzy 确实没玩明白 openclash ,ssr+ 和 passwall2 感觉设计得还比较符合直觉
    Adamdad
        31
    Adamdad  
    OP
       30 天前
    @devli 谢谢,我也去学习一下 singbox
    Adamdad
        32
    Adamdad  
    OP
       30 天前
    @Misyo 感谢,我去学习一下
    Adamdad
        33
    Adamdad  
    OP
       30 天前
    @morota 感谢,必须学习一下 singbox !但是目前还没想弄旁路由,想用 x86 软路由搞定一切得了,目前运行好几周没呀问题。还有一个 arm 软路由,真 boom 了手动换上。
    Adamdad
        34
    Adamdad  
    OP
       30 天前
    @badgv 有点儿意思,ros 和 op 相比的优势是什么呢?
    Adamdad
        35
    Adamdad  
    OP
       30 天前
    @lolizeppelin 我不知道你说的用 Linux 做路由器设置起来有多便利,也不知道性能能差多少,但我觉得用已经成熟的软路由系统对我来说还是比较方便的,各种功能都有,也方便设置。
    Adamdad
        36
    Adamdad  
    OP
       30 天前
    @sakuramanstein 没有,我也不需要核显。我没有视频转码的需求,我也不太懂为啥下载下来的影视要转码,直接让播放设备解码不就得了。我也不需要异地远程观看家里的影视,回家舒舒服服地看不香吗。我的 Windows 也不需要输出视频,只需要能远程桌面就够了。唯一难受的就是前期被爱国者垃圾内存折磨了很久,各种重装主系统都需要拆换 CPU... 但是成功稳定运行之后,我确实不需要核显。
    Adamdad
        37
    Adamdad  
    OP
       30 天前
    @awinds 还好,装好折腾好后也没想过再升级了
    Adamdad
        38
    Adamdad  
    OP
       30 天前
    @limitsy 最新的 TrueNAS Scale 可以运行 Docker 。以及,我觉得 Scale 稳定性和性能估计已经够我用了,对我来说可能没必要搞 Core ,Scale 毕竟是 Linux ,啥都方便,据说 Core 的那个命令都有很多不同,更别提别的。我的备用 NAS 可以考虑上 Core
    Adamdad
        39
    Adamdad  
    OP
       30 天前
    @ScotGu 我知道 PVE 可以搞 ZFS ,我还知道 PVE 还能折腾 Docker 和 OpenWRT 呢,但是也没必要 PVE 承担全部,我需要 PVE 管虚拟机,这就够了,NAS 功能和 Docker 交给专业的 TrueNAS Scale ,路由交给 OpenWRT 虚拟机,我网卡也多,给它们一个个都直通了硬件网卡,这样谁崩了也不影响另一个
    Adamdad
        40
    Adamdad  
    OP
       30 天前
    @sunnysab 我觉得还行啊,反正就往里面挤就好了... 而且目前我只有 4 个硬盘
    Adamdad
        41
    Adamdad  
    OP
       30 天前
    @4NF nice, 香香的
    Adamdad
        42
    Adamdad  
    OP
       30 天前
    @Thymolblue 我没有功耗计,而且也佛系了懒得测... 我这套估计功耗不会太低,但至少我想实现的功能都有了,也没有说有任何一个非必需的又非常耗电的部分,我也满意了。人生苦短,我选择舍弃一点点。太追求完美还是比较难做到的,我这套我都在脑子里想了一年了,动手的时候也还是遇到了各种问题,好在都及时解决了。比如那个板载万兆网卡我以为就又省钱又省电,还省 pcie ,我还以为虚拟机之间搞软内网再加上这一个万兆网卡就全都够了。结果啥都没省,我现在把它直通给 Windows 10 都会出各种问题。比如那个爱国者内存条,是挺便宜的,但是折腾了我十天。谁家好人会想到问题出在内存条上呀,都是默认京东自营买回来没问题的。32GB 单条的性价比低很多,总共可能多花了一千,但是也还好了。如果一开始有人能告诉我我多花这一千能省十天的折腾,我绝对选择多花这一千。也不白花,总内存还大了呢。
    badgv
        43
    badgv  
       30 天前 via Android
    @Adamdad ros 流量直观,配置策略路由方便,只从网络防火墙角度管理来看就是它的优势,还有独有的 pcc 多线分流负载,这点是吊打 op 的各种多线插件(爱快都不如)
    4NF
        44
    4NF  
       30 天前
    @Adamdad #41 香爆了,除了硬盘拓展不太方便
    Adamdad
        45
    Adamdad  
    OP
       29 天前
    @fionasit007 一般来说都是不关机的。起不来我建议仔细研究一下报错
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4971 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 08:14 · PVG 16:14 · LAX 00:14 · JFK 03:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.