V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
siknet
V2EX  ›  问与答

交换机上做了链路聚合,该怎么正确使用?

  •  
  •   siknet · 2021-02-12 00:09:35 +08:00 via Android · 1560 次点击
    这是一个创建于 1163 天前的主题,其中的信息可能已经有所发展或是发生改变。
    主机 a 有 2 个万兆口,分别有 2 个 IP,连接到交换机上,交换机上做了链路聚合,显示总带宽 20g 。这时其他连接到交换机上的机器怎么访问主机 a 才能走 20g/s 的效果?

    所有机器都是 win10 系统,现在用的是 ip 访问,但是一次只能访问主机 a 的一个 IP,比如主机有 192.168.1.1 和 162.168.1.2 两个 IP,现在直接在局域网里面能直接打开 192.168.1.1 来访问 SMB 共享资源。


    新年大吉,感谢解答
    22 条回复    2021-11-15 20:36:19 +08:00
    maichael
        1
    maichael  
       2021-02-12 00:21:12 +08:00   ❤️ 1
    1. 链路聚合是同一个 IP
    2. 链路聚合有很多种模式,要看你配置的那种,而且需要交换机真正支持聚合(某些便宜一点的交换机聚合起不了带宽*2 的作用),可以先用 iperf3 测试
    3. 聚合需要程序是多线程或者多进程。
    msg7086
        2
    msg7086  
       2021-02-12 06:47:05 +08:00   ❤️ 1
    主机上要把两个万兆口聚合成一个,用一个 IP 。
    dncg
        3
    dncg  
       2021-02-12 08:39:30 +08:00 via iPhone   ❤️ 1
    单 ip,只能用满一条带宽,1 万兆。链路聚合是给多 ip 同时访问用的。好像 smb3 可以拉满宽带,貌似不是走的链路聚合。你可以查查看
    Tarkky
        4
    Tarkky  
       2021-02-12 08:48:00 +08:00   ❤️ 1
    主机也得做,交换机什么模式的聚合,主机上也得一样就好了。话说你什么服务?网络存储么?
    siknet
        5
    siknet  
    OP
       2021-02-12 10:03:15 +08:00 via Android
    感谢大家恢复,去年生意惨淡,临时兼职运维。

    @Tarkky 朋友是做无人机勘测的,要为甲方提供地面三围重建,需要集群计算,网络交换数据量很大,1 台主机 5 台从机跑一个项目,一个小项目大概 1 万张照片,100g 大小,空中三维计算后大概 300g,大概几十万到一百多万个文件。最后重建完成的数据量很小。今年还要弄个集群,准备上大船货了,PM983 的 12TBW 估计扛不了多久
    Tarkky
        6
    Tarkky  
       2021-02-12 10:38:41 +08:00   ❤️ 1
    那交换机得买好的,背板交换和端口速率都不能含糊
    siknet
        7
    siknet  
    OP
       2021-02-12 10:44:21 +08:00 via Android
    @Tarkky 囧,为了节省成本,上的是 600 块的 24 千口 8 万口的二手交换机,网卡用的是 cx341 的魔改万兆,iperf3 测试单口只能跑到 7g/s
    CallMeReznov
        8
    CallMeReznov  
       2021-02-12 13:45:12 +08:00   ❤️ 1
    我这边因为条件有限,是用 8 条电口 1000M 做的端口组.
    我个人的理解,限制速度主要还是终端侧,交换机一般情况瞎是遇不到什么瓶颈的.

    所以你希望其他主机访问达到要求只要该主机与交换机的链路达到 20G 就可以了.
    但如何能跑满这 20G 的带宽,就需要服务器的 IO 与传输协议各方面的支持,可能还需要调整巨型帧这类参数.
    加拿大白嫖王有相关视频可以看一下:https://www.bilibili.com/video/BV1js41127Gi
    Conty
        9
    Conty  
       2021-02-12 15:14:52 +08:00   ❤️ 1
    本人网络工程师,尝试回答。
    链路聚合业内标准基本上都是 LACP/LAG,通过绑定多个物理端口成为一个逻辑端口来扩展数据承载能力。需要两端设备都支持 LACP 协议。链路聚合不适用于单个流的负载分担 /负载均衡。流的定义就是源 IP,源 MAC,目的 IP,目的 MAC 和端口号都相同的数据包的总和。如果你的场景就是单台客户机 /终端与单台服务器之间的通信,做不了分担 /均衡,只能用 40G 或者 100G 端口。
    bearice
        10
    bearice  
       2021-02-12 16:08:17 +08:00   ❤️ 1
    楼上 基本正解 但是也不是完全不可能做单流负载均衡 一些特殊场景下 round robin 模式是可以做到的 不过会带来乱序包之类的问题,并且支持的设备不多.
    siknet
        11
    siknet  
    OP
       2021-02-12 17:55:02 +08:00 via Android
    @Conty 请问 40g 端口通信跑满的话,硬件一般都是什么价格的啊,5gb/s 起码都要 pcie4.0 的 nvme 才能跑到了吧,或者 raid ?
    bearice
        12
    bearice  
       2021-02-12 19:27:07 +08:00 via iPad
    交换机 思科的 93180 全新也就几千刀 杂牌的更便宜

    话说如果只有几百 G 数据的话扔内存不就行了 现在 ram 又便宜

    或者直接去 aws 开几个虚机 硬件最高有 100g 网卡 内存也管够 用完了关机还不要钱
    siknet
        13
    siknet  
    OP
       2021-02-12 20:02:55 +08:00 via Android
    @bearice 小集群,开始没个底,又遇到矿潮显卡价格暴涨,就按家用机标准搭的,主机是 zen3+ x570+2080+64g ddr4,实际上内存占不满,可是 x570 和撕裂者最高也就支持 128G 和 256G 内存,所以 ramdisk 有点麻烦,下批集群如果预算够考虑上 EYPC 试试。

    一个小项目 10000 张照片全程跑完要 20 个小时左右,AWS 不划算吧,上传几十 G 数据都要好久
    Conty
        14
    Conty  
       2021-02-14 16:15:56 +08:00 via iPad
    @siknet 主机这边不懂。交换机的话正经厂家做出来的交换机如果没有标 overSubscribing 的 40G 端口都可以跑满线速。
    flynaj
        15
    flynaj  
       2021-02-15 12:13:11 +08:00 via Android
    聚合就只有一个聚合后的接口了。一个 IP 就行。
    julyclyde
        16
    julyclyde  
       2021-02-16 13:17:49 +08:00
    搞不清楚聚合需要几个 IP,这是一种典型的没能理解网络协议分层的表现
    siknet
        17
    siknet  
    OP
       2021-02-18 11:34:34 +08:00
    @Conty 大佬,我在办公室自己折腾试验。2 台 intel 八代 /十代平台,都是 CX341 的万兆卡,用的是 7 米的 DAC 堆叠直通线,跑 IPERF3 只有 3.xG 的速度,MTU 和巨型帧调高以后速度更慢。请问应该从哪些地方着手去找问题?有个 7 、8G 我也就满意了,3G 太慢了。

    感谢!
    siknet
        18
    siknet  
    OP
       2021-02-18 11:35:48 +08:00
    补充一下,机器都只有 M.2 的硬盘,直接复制大文件速度也只到得了 280MB/s
    Conty
        19
    Conty  
       2021-02-18 11:45:46 +08:00
    @siknet 建议你用 wireshark 之类的抓个包看看,是不是有啥错包之类的。通常从 wireshark 的抓包里面可以看到很多 TCP 相关的东西。
    Canglinstraw
        20
    Canglinstraw  
       2021-11-03 08:45:13 +08:00
    @siknet 你好啊,问题解决了吗?我这里出现了同样的 Bug
    siknet
        21
    siknet  
    OP
       2021-11-03 09:56:30 +08:00 via Android
    @Canglinstraw 并没有。。。也没去管了。甲方根本不 care 这个问题
    Canglinstraw
        22
    Canglinstraw  
       2021-11-15 20:36:19 +08:00
    @siknet 哈哈哈好的,谢谢回复哈~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2957 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 03:12 · PVG 11:12 · LAX 20:12 · JFK 23:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.