V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
wsgzao
V2EX  ›  Linux

Solarflare 低延迟万兆网卡配置和性能调优实践

  •  
  •   wsgzao ·
    wsgzao · 2016-11-29 17:24:22 +08:00 · 7846 次点击
    这是一个创建于 2676 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    因为交易系统部的同事在测试研究 Intel DPDK 和 Solarflare 的低延迟性能,硬件是 Dell R730 , OS 为 RHEL7.2 ,之前也对 DPDK 有所了解借这个机会再多接触一些,前者是开源方案但需要强大的技术团队支撑,而后者却是小众但几乎垄断全球交易所的商业方案,随着 PCIe SSD ,分布式存储,万兆交换机的崛起,这个市场也变得越来越活跃了。

    Solarflare make servers faster and more secure.

    更新记录

    2016 年 11 月 25 日 - 初稿

    阅读原文 - https://wsgzao.github.io/post/solarflare/

    扩展阅读

    Solarflare - https://support.solarflare.com/index.php/component/cognidox/?view=categories&id=1945 OpenOnload - http://www.openonload.org/download.html

    参考文档

    Solarflare 网卡安装与测试 http://wenku.baidu.com/view/31652e7204a1b0717ed5dd13

    Solarflare Quick SetupGuide_cn_1.3 http://wenku.baidu.com/view/3d2f7c7a30b765ce0508763231126edb6f1a7610

    测试过程

    install sfc

    #yum install packages
    yum install gcc make kernel-devel perl autoconf automake libtool pciutils net-tools -y
    #解压执行安装
    cd openonload-201606/scripts
    ./onload_install
    #reload onload
    onload_tool reload
    
    

    remove sfc

    #unload onload
    onload_tool unload
    #remove sfc
    modprobe – r sfc
    #if found any sfc rpm, then remove them
    rpm -qa | grep sfc
    rpm -e *sfc*.rpm
    #unintall onload
    onload_uninstall
    
    

    tuning

    测试低延迟有条件建议先 host 直连再选择交换机,简单的 ping 无法验证具体数据,可以采用 sfnettest 来评估

    UDP - 1700ns TCP - 1900ns

    #collect sfreport
    ./sfreport.pl
    
    #update firmware
    sfupdate --write
    dracut -f
    #if reboot not work, you need cut power and startup after one minute
    init 6
    
    #tuned-adm
    tuned-adm list
    tuned-adm profile latency-performance
    
    #sfnettest
    onload -p latency ./sfnt-pingpong udp 10.0.21.10
    onload -p latency ./sfnt-pingpong tcp 10.0.21.10
    
    
    4 条回复    2016-12-01 09:17:42 +08:00
    ericbize
        1
    ericbize  
       2016-11-29 17:38:43 +08:00 via iPhone
    楼主,你在搞程式交易么?
    ihacku
        2
    ihacku  
       2016-11-29 20:50:51 +08:00 via Android
    赞 之前在 cloudflare 一篇博客上看到过介绍
    soulshell
        3
    soulshell  
       2016-11-29 22:15:00 +08:00 via iPhone
    dpdk 不挑硬件几乎,后面那个要特定的卡,二者原理和效果差不多其实, HFT 里面确实有效
    wsgzao
        4
    wsgzao  
    OP
       2016-12-01 09:17:42 +08:00
    @ericbize 交易所似乎只能搞这个了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   953 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 21:35 · PVG 05:35 · LAX 14:35 · JFK 17:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.