爱意满满的作品展示区。
joocejie

开源一个云环境网络流量镜像项目 Packet-Agent(参与送 PS4)

  •  
  •   joocejie · Sep 12, 2019 · 27618 views
    This topic created in 2617 days ago, the information mentioned may be changed or developed.

    项目背景

      传统网络数据分析会在交换机上配置网络数据镜像, 将 Packet 复制后发送到目标机器,实现网络流量镜像的功能。
      而在云平台上,目前网络数据采集还没有统一的方案。针对私有云平台,目前有流表数据包复制采集、在 hypervisor 上监听采集、vmware 平台分布式虚交换机配置采集、libpcap 抓包采集等方案。
      对于 vmware 平台分布式虚交换机配置采集的方案,性能较好,不占用客户机资源,但其属于商业产品,且只适用于购买 vmware 私有云用户;而在 hypervisor 上监听采集,目前有产品开发,性能较好,但只适用于 OpenStack 私有云;采用 OVS 流表方案,优势是免费,不占用客户机资源,但是配置复杂,且只能用于 OpenStack 私有云。
      因此,开发基于 libpcap + GRE 封装转发的应用,或许是云平台目前最优的网络流量镜像方案。其使用简单、开源、适用于各类公有云和私有云。

    Packet-Agent 简介

      Netis Packet Agent ( https://github.com/Netis/packet-agent) 基于 libpcap 技术,从业务网卡抓包,进行 GRE 封装后将采集到的数据包发送到另一台远端机器,供分析使用。

    Docker Kubernetes 支持

      Packet-Agent 对 Kubernetes 也提供了支持方案。简单来说,Packet-Agent 封装成容器后,与需要监控的业务容器放在同一个 K8S Pod 中,与其共享网络层并抓包镜像网络流量。
      具体方案见项目文档:K8S_traffic_mirror

    参与 Packet-Agent 项目

      欢迎大家参与此项目,包括 star, fork, 提交 pull-request, 报告 bug, 提出任何意见或建议,或者将该项目介绍给相关的朋友。衷心感谢。

    抽奖回馈社区

      为感谢大家的支持,抽奖送一台 PS4 主机,抽奖方法如下:

    1. 在这个帖子下面回复参与讨论。
    2. 获奖资格:从现在起到 2019/09/18 23:59:59 参与讨论的前 500 名用户具有获奖资格。
    3. 中奖号码 = 2019/09/19 日 A 股大盘收盘点数 * 100 % 所有具有获奖资格的用户排序去除重复后的总数('*'是乘法,'%'是数学取余数)
    4. 比如:有 @y_user @x_user @z_user @x_user 3 个用户依次回复了 4 次,那么所有具有获奖资格的用户排序去除重复后就是 @x_user @y_user @z_user,分配给他们的抽奖号码依次是 0,1,2。假设 A 股收盘点数是 3012.34 点,那么 3012.34 * 100 % 3,中奖号码就是 1,中奖用户就是 @y_user
    5. 提示:因为会排序去重,多次回复不会增加中奖概率。
    Supplement 1  ·  Sep 18, 2019
    前 500 位名单如下,依次编号 0~499:

    0hey0:编号 0
    0ps:编号 1
    0x3f3f
    1005gel
    109109
    12
    123s
    1more
    1rror
    284376485
    3CH0
    402645707
    40huo
    49degree
    7gugu
    810244966
    8629
    99911a
    AJDX3906
    AaronLiu00
    Ahs
    Ahy
    AidenChen
    AlexaZhou
    AmadeusGhost
    AnonymousM
    Believer
    BoiledEgg
    BriFuture
    ChenXuting
    ChristopherWu
    CoCoMcRee
    Coande
    CodeWind
    CrazyRain0001
    Cyron
    Despacito
    DrJoseph
    DreamSpace
    E1n
    ESeanZ
    Famio
    Flyerwzb
    FuryBean
    FuturesXu
    G1n233
    GM
    Hauserkk
    Hugehard
    IDCFAN
    ITJoker
    Isight
    JKing
    JL1990
    JasperYanky
    Jiuyu
    Joker3120
    JunkLeo
    JusticeShi
    Juszoe
    KasuganoSoras
    Keyes
    Kimiato
    KingPL
    Kinnice
    LWXYFER
    LXVC
    LazYFire
    Licsber
    LinusTor
    Lisylfn
    LittleYangYang
    MITOO
    Macolor21
    MiaRunis
    Mikewu
    MioAkiyama
    Motoi
    MrMario
    MyFaith
    Nasei
    NoirStrike
    OrangeM21
    Orenoid
    PeterPig
    PickMio
    PlayByMyself
    PyCode
    RanchoTuring
    Realucas
    Rehtt
    Rheinmetal
    SaberJack
    Sanko
    Saszr
    Shunte
    SmallZheng
    Suvigotimor
    TangCuYu2333
    Tenlp
    TheWalkingDead
    Themyth
    Tink
    Tong16
    UnknownR
    Vanctol
    VermouthcZzz
    WhyLiam
    Wien
    WilliamYang
    XSG
    YFeei
    YenvY
    Yorkzhu
    Zainxu
    ZiLong
    Zsh110
    Zzdex
    aWangami
    aaaaaaaaa
    abelce
    actar
    acz154
    ahaxzh
    alexzhan
    alikesi
    allencloud
    alpha2016
    alschw
    anjiannian
    anoper
    archknight
    arfaWong
    aru
    atan
    az422
    azh7138m
    azuginnen
    b1gCi
    b1rdb0y
    baixiaoyu2997
    blueset
    bobsam
    bolshevik
    bomb77
    bullettrain1433
    buried
    bxb100
    byron
    c
    c0878
    carbon
    caserest
    cbangchenLL7
    cc3630
    chanots
    chashao
    chinafeng
    chinvo
    chuanqirenwu
    chy373180
    cjc2017
    cjpjxjx
    cmllwxxl
    cnbattle
    co3site
    codereric
    controller
    coolair
    cornelia
    corningsun
    cosmo
    crabtsk
    crs0910
    csx163
    cxh2000210
    cxy1234
    cyssxt
    d5
    dabaibai
    dewi
    dixeran
    dontbesad
    dream7758522
    drlalll
    duola
    einvince
    elbertzhu
    epicSoldier
    eptwd
    everydiao
    ezioruan
    falcon05
    fatelight
    fathuman
    fcj558
    feifan00x
    felixcode
    fghshunzi
    fhvch:编号 199
    Supplement 2  ·  Sep 18, 2019
    fire2y:编号 200
    fishofcat
    flxxy
    fo3xx
    frostcake
    gIrl1990
    galenzhao
    gangsta
    gaobh
    gcod
    gdcbhtd
    geekzjj
    gleox
    goodryb
    gotounix
    gstqc
    guoluwei
    gxvv
    h4lt
    hangvane
    haofly
    harryge
    harryge01
    hebin
    hebingchang
    hedys
    hfutzj
    hillw4h
    hohoho
    huadi
    huishu
    huiwl
    hzwjz
    i0error
    iAcn
    iThink
    iakisey
    iamalive2008
    icekingcy
    ifulikeweirdo
    il1707
    ilixin
    illl
    imNull
    imay
    ittianyu
    iture
    ivanyin
    iwtbauh
    javashell
    jaylong
    jerrodpoole
    jiang123574
    jiangming1399
    jiexixijie
    jiezhi
    jimages
    jjxh
    jkbspin
    johnnie502
    joocejie
    jsdtxm
    jsnjfz
    jsonzz
    just1
    justin2018
    kaixuan1901
    kakudesu
    kalagxw
    kebyn
    killeder
    killerzhangsan
    koalaMagic
    kohos
    koromon
    kraymond
    ksedz
    kukat
    kutear
    laowei222
    ldm0
    leafleave
    lee82014312
    leesh853761
    lilihangzhou
    linpm
    litao3rd
    littleghosty
    liu19931020
    liujiajun1999
    liuymf
    livexia
    lixile
    ljlljl0
    lmaq
    lockerhyz
    lostexile
    loveyu
    lqzhgood
    lrvy
    lscho
    luckybo
    luoqing1477
    luozic
    lycc
    lyuehh
    lzy4happy
    manhere
    maohhgg
    maooyer
    marsLeo
    mason961125
    meeken
    menyakun
    mhcyong
    ming7435
    miragetu
    mlhadoop
    moln
    molvqingtai
    monkey2
    moonrailgun
    morethansean
    moryxsw
    mosesyou
    movax21h
    mpb
    mrcn
    mulei200
    mulu
    mymike
    mynamewang0
    mywaiting
    n37r06u3
    nameldk
    natforum
    nomoon
    nooper
    oIMOo
    octobersnow
    okjb
    oovveeaarr
    orcinusorca
    orient
    pandachow
    phithon
    pinkward
    plaknight
    poison123
    polythene
    ponder
    ptlkStar
    qdpoboy
    qiangmin
    qinghon
    qmake
    qq29701
    qq625692420
    raffaellolin
    rainfox
    ranleng
    rapperx2
    reticentfat
    richard1122
    rinsingw
    rjie2008
    rosu
    ruiyinjinqu
    runningding
    ryV60s
    saberlove
    salmon5
    scoful
    sdandroid
    select
    sep9999
    set01
    setsena
    sevenphp
    sgq1128
    shadowyue
    shdcn
    shell314
    shishen10
    shuaizi
    sike03
    siknet
    silaike
    silenceboychen
    singerll
    sixm
    slwl123
    smilzman
    sniperking1234
    songjiaxin2008
    spemoon
    squallsdjl
    sreal
    st4rg4z3r
    standin000:编号 399
    Supplement 3  ·  Sep 18, 2019
    starrycat:编号 400
    stayreal
    steptodream
    stevenbipt
    sun522198558
    suyuyu
    swulling
    syy
    tailaqumos
    tangtj
    test23
    tetora
    tf141
    tfdetang
    thoutherKai
    thulof
    tingchina
    tongz
    tookbra
    totopo
    tsukiikekaoru
    tt0411
    tuot
    tyhunter
    tyx1703
    uhian
    unknownservice
    uptime
    vast0906
    vcinex
    vipdog73
    vipwpcom
    visitant
    vjnjc
    vstar
    wangxxxing
    wanyulaowang
    weixingna
    whtsky
    wingoo
    wlw0327
    wojfsdj
    wph95
    wuYin
    wwek
    wy53
    wzw
    x2ve
    xddxdd
    xduanx
    xiangchen2011
    xianxianyu
    xiaobanlong
    xiaodog
    xiaome
    xiaonec
    xiazero
    xiazhiisgood
    xiongbiao
    xiri
    xiubin
    xml123
    xmoon
    xrds7986
    xsephiroth
    xuc
    xuecan
    xuqianyu
    y547679519
    yangfan1999
    yatestxw
    yeya24
    ylhawj
    ysicing
    ytlm
    yufj
    yukiww233
    yycpro
    yyork
    yzyun08
    z919126592
    zavieryip
    zealinux
    zenze
    zerozz
    zhangqilin
    zhchyu999
    zhengjian
    zhensjoke
    zhouyg
    zhuawadao
    zjx1993
    zongwan
    zpfhbyx
    zsdroid
    ztnuaa
    zvcs
    zytomorrow
    zzmstring
    zzw1998:编号 499
    549 replies  •  2019-09-26 12:49:40 +08:00
    1  2  3  4  5  6  
    ❮ ❯
    Wien
    Wien
    Sep 12, 2019
    101
    分母翻页
    moln
    moln
    Sep 12, 2019
    102
    分母+1
    Wien
    Wien
    Sep 12, 2019
    103
    流量镜像。。牛逼了
    monkey2
    monkey2
    Sep 12, 2019
    104
    分母 分母。嘿
    zhchyu999
    zhchyu999
    Sep 12, 2019 via Android
    105
    这个有什么具体的应用场景么
    marsLeo
    marsLeo
    Sep 12, 2019 via iPhone
    106
    凑一下热闹
    Believer
    Believer
    Sep 12, 2019 via Android
    107
    分子哦哦哦
    zhouyg
    zhouyg
    Sep 12, 2019
    108
    非后端类技术员,感觉这个应用场景描述很不到位,它可以做些什么呢?
    x2ve
    x2ve
    Sep 12, 2019 via iPhone
    109
    吃掉分母
    slwl123
    slwl123
    Sep 12, 2019
    110
    用不到 开源项目还是要支持的
    ifulikeweirdo
    ifulikeweirdo
    Sep 12, 2019
    111
    感觉很厉害。我是来当分母的
    Hansah
    Hansah
    Sep 12, 2019 via Android
    112
    这个应该有最低配置要求吧
    koromon
    koromon
    Sep 12, 2019 via iPhone
    113
    先回复再说😉
    yatestxw
    yatestxw
    Sep 12, 2019
    114
    这个抽奖计算可以的
    zhangqilin
    zhangqilin
    Sep 12, 2019
    115
    牛逼噢
    FuryBean
    FuryBean
    Sep 12, 2019
    116
    分母 +1
    LittleYangYang
    LittleYangYang
    Sep 12, 2019❤️1
    117
    Star 已给,来当分母了
    standin000
    standin000
    Sep 12, 2019
    118
    抽奖计算够黑客,来一个
    kebyn
    kebyn
    Sep 12, 2019 via iPhone
    119
    分母+1
    kraymond
    kraymond
    Sep 12, 2019 via iPhone
    120
    我🉑
    visitant
    visitant
    Sep 12, 2019
    121
    分母+1
    fixmestan
    fixmestan
    Sep 12, 2019 via Android
    122
    分母
    是不是还得限制一下注册时间?
    ilixin
    ilixin
    Sep 12, 2019
    123
    我是来领 ps4 的
    littleghosty
    littleghosty
    Sep 12, 2019
    124
    分母+
    kaixuan1901
    kaixuan1901
    Sep 12, 2019
    125
    分母+1
    yukiww233
    yukiww233
    Sep 12, 2019
    126
    除了流量监控还有什么具体应用
    Despacito
    Despacito
    Sep 12, 2019 via Android
    127
    插个眼
    bxb100
    bxb100
    Sep 12, 2019 via Android
    128
    加大分子
    byron
    byron
    Sep 12, 2019
    129
    必中。
    我去选游戏去了。
    controller
    controller
    Sep 12, 2019 via Android
    130
    没啥,俺就是想中奖
    galenzhao
    galenzhao
    Sep 12, 2019
    131
    有啥需求
    azuginnen
    azuginnen
    Sep 12, 2019
    132
    666 了!!
    qinghon
    qinghon
    Sep 12, 2019 via Android
    133
    想当分子
    yolan
    yolan
    Sep 12, 2019
    134
    看到 PS4,过来增加分母
    c0878
    c0878
    Sep 12, 2019
    135
    類似 AWS 的 VPC Flow 功能?
    okjb
    okjb
    Sep 12, 2019 via Android
    136
    分母+
    Ahs
    Ahs
    Sep 12, 2019 via Android
    137
    尝试分子
    yzyun08
    yzyun08
    Sep 12, 2019 via Android
    138
    看到抽奖,过来当分子了
    zvcs
    zvcs
    Sep 12, 2019 via iPhone
    139
    我是大分母
    iThink
    iThink
    Sep 12, 2019
    140
    来当分母了
    xrds7986
    xrds7986
    Sep 12, 2019 via Android
    141
    關注-下,做個分母
    dabaibai
    dabaibai
    Sep 12, 2019
    142
    我来当分母了
    Macolor21
    Macolor21
    Sep 12, 2019
    143
    性能上较其他产品有对比吗?还是说优势只是开源和多家云平台的支持?
    Isight
    Isight
    Sep 12, 2019 via Android
    144
    分母之王
    ezioruan
    ezioruan
    Sep 12, 2019
    145
    还有机会 哈哈
    IDCFAN
    IDCFAN
    Sep 12, 2019 via iPhone
    146
    前五百
    nomoon
    nomoon
    Sep 12, 2019
    147
    当个分母,溜了
    CoCoMcRee
    CoCoMcRee
    Sep 12, 2019
    148
    分母分母。。。厉害了。。。真有流量抓包分析啊
    109109
    109109
    Sep 12, 2019
    149
    试装在 x86 软路由上
    xuecan
    xuecan
    Sep 12, 2019
    150
    我是来领 ps4 的
    Tong16
    Tong16
    Sep 12, 2019
    151
    分母+1
    JL1990
    JL1990
    Sep 12, 2019 via Android❤️1
    152
    分母+1,祝楼主的项目越做越大,越来越棒
    sgq1128
    sgq1128
    Sep 12, 2019
    153
    分母+1
    jsnjfz
    jsnjfz
    Sep 12, 2019
    154
    试试 PS4
    Shunte
    Shunte
    Sep 12, 2019
    155
    有点复杂的抽奖
    chanots
    chanots
    Sep 12, 2019
    156
    分母
    linpm
    linpm
    Sep 12, 2019 via Android
    157
    我是最帅的靓仔
    bullettrain1433
    bullettrain1433
    Sep 12, 2019
    158
    分母+1,祝楼主的项目越做越大,越来越棒
    之前好多抽奖都跑路了
    lqzhgood
    lqzhgood
    Sep 12, 2019
    159
    我去 抽 PS4 !!!!
    666
    everydiao
    everydiao
    Sep 12, 2019 via Android
    160
    我的我的!!!
    starrycat
    starrycat
    Sep 12, 2019 via Android
    161
    关注
    fathuman
    fathuman
    Sep 12, 2019
    162
    分母+1,凑个热闹
    harryge01
    harryge01
    Sep 12, 2019❤️1
    163
    先 star 了再说
    AaronLiu00
    AaronLiu00
    PRO
    Sep 12, 2019 via Android
    164
    万一中了呢
    swulling
    swulling
    Sep 12, 2019❤️1
    165
    流量镜像用处:Debug、测试、清洗、旁路分析等

    比如你要给客户做深度包检测,又不能侵入客户虚机,就旁路镜像后检测复制流量
    allencloud
    allencloud
    Sep 12, 2019
    166
    没看懂啊,这个是做缓存的,还是类似 tcpdump 抓包?
    harryge
    harryge
    Sep 12, 2019
    167
    k8s 的方案就是类似 service mesh? 和 envoy 比有啥优势不?
    0ZXYDDu796nVCFxq
    0ZXYDDu796nVCFxq
    Sep 12, 2019 via Android
    168
    牛🍺啊
    ryV60s
    ryV60s
    Sep 12, 2019
    169
    分母+1
    i0error
    i0error
    Sep 12, 2019 via iPhone
    170
    分母
    tyhunter
    tyhunter
    Sep 12, 2019 via Android
    171
    当个分母
    shuaizi
    shuaizi
    Sep 12, 2019
    172
    test
    whtsky
    whtsky
    Sep 12, 2019 via iPad
    173
    分母 +1
    uhian
    uhian
    Sep 12, 2019
    174
    实话实说没看懂
    reticentfat
    reticentfat
    Sep 12, 2019
    175
    分母+1
    az422
    az422
    Sep 12, 2019 via Android
    176
    +1
    salmon5
    salmon5
    Sep 12, 2019❤️1
    177
    上海天旦网络,曾经的 netexpert.cn 主办方,协议分析挺有名的
    salmon5
    salmon5
    Sep 12, 2019
    178
    网络分析专家论坛
    salmon5
    salmon5
    Sep 12, 2019
    179
    现在 sniffer pro 黄了,wildpackets 也不存在了,omnipeek 也易主了
    csx163
    csx163
    Sep 12, 2019
    180
    分母+1
    kakudesu
    kakudesu
    Sep 12, 2019
    181
    还来得及,快上车
    imNull
    imNull
    Sep 12, 2019
    182
    分母
    gcod
    gcod
    Sep 12, 2019 via Android
    183
    拉低中奖率
    Rheinmetal
    Rheinmetal
    Sep 12, 2019
    184
    k8s 脚本收下了
    xiaome
    xiaome
    Sep 12, 2019
    185
    分母 不 我想当分子!
    joocejie
    joocejie
    OP
    Sep 12, 2019
    186
    @bomb77 我理解是系统整体负载高,当前进程 CPU 资源被占用了,所以处理能力下降。
    GG668v26Fd55CP5W
    GG668v26Fd55CP5W
    Sep 12, 2019 via iPhone
    187
    万一是我呢
    bolshevik
    bolshevik
    Sep 12, 2019
    188
    感谢分享
    joocejie
    joocejie
    OP
    Sep 12, 2019
    189
    @zhchyu999 可以把系统网络流量镜像一份到一台机器,做实时解码业务监控,或保存下来供以后分析。
    joocejie
    joocejie
    OP
    Sep 12, 2019
    190
    @zhouyg 可以把系统网络流量镜像一份到一台机器,做实时解码业务监控,或保存下来供以后分析。
    joocejie
    joocejie
    OP
    Sep 12, 2019
    191
    @siknet 程序只占用一个 CPU 核,根据你系统整体流量来,流量大占用资源就多一些。推荐至少有双核。
    wzw
    wzw
    Sep 12, 2019
    192
    为了 ps4
    geekzjj
    geekzjj
    Sep 12, 2019 via Android
    193
    哈哈哈分母来了
    xiazhiisgood
    xiazhiisgood
    Sep 12, 2019 via iPhone
    194
    这是真的吗?
    joocejie
    joocejie
    OP
    Sep 12, 2019
    195
    @YenvY 我记得刚注册的用户没法回帖,应该没必要限制
    carbon
    carbon
    Sep 12, 2019
    196
    所以说,抽奖还是要参加的,哈哈哈哈
    joocejie
    joocejie
    OP
    Sep 12, 2019
    197
    @yukiww233 其他比如深度包检测安全分析
    joocejie
    joocejie
    OP
    Sep 12, 2019
    198
    UnknownR
    UnknownR
    Sep 12, 2019
    199
    ps4 我来了
    tailaqumos
    tailaqumos
    Sep 12, 2019 via Android
    200
    还好及时上车
    1  2  3  4  5  6  
    ❮ ❯
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1810 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 212ms · UTC 16:05 · PVG 00:05 · LAX 08:05 · JFK 11:05
    ♥ Do have faith in what you're doing.