开源一个云环境网络流量镜像项目 Packet-Agent(参与送 PS4)

2019-09-12 16:03:31 +08:00
 joocejie

项目背景

  传统网络数据分析会在交换机上配置网络数据镜像, 将 Packet 复制后发送到目标机器,实现网络流量镜像的功能。
  而在云平台上,目前网络数据采集还没有统一的方案。针对私有云平台,目前有流表数据包复制采集、在 hypervisor 上监听采集、vmware 平台分布式虚交换机配置采集、libpcap 抓包采集等方案。
  对于 vmware 平台分布式虚交换机配置采集的方案,性能较好,不占用客户机资源,但其属于商业产品,且只适用于购买 vmware 私有云用户;而在 hypervisor 上监听采集,目前有产品开发,性能较好,但只适用于 OpenStack 私有云;采用 OVS 流表方案,优势是免费,不占用客户机资源,但是配置复杂,且只能用于 OpenStack 私有云。
  因此,开发基于 libpcap + GRE 封装转发的应用,或许是云平台目前最优的网络流量镜像方案。其使用简单、开源、适用于各类公有云和私有云。

Packet-Agent 简介

  Netis Packet Agent ( https://github.com/Netis/packet-agent) 基于 libpcap 技术,从业务网卡抓包,进行 GRE 封装后将采集到的数据包发送到另一台远端机器,供分析使用。

Docker Kubernetes 支持

  Packet-Agent 对 Kubernetes 也提供了支持方案。简单来说,Packet-Agent 封装成容器后,与需要监控的业务容器放在同一个 K8S Pod 中,与其共享网络层并抓包镜像网络流量。
  具体方案见项目文档:K8S_traffic_mirror

参与 Packet-Agent 项目

  欢迎大家参与此项目,包括 star, fork, 提交 pull-request, 报告 bug, 提出任何意见或建议,或者将该项目介绍给相关的朋友。衷心感谢。

抽奖回馈社区

  为感谢大家的支持,抽奖送一台 PS4 主机,抽奖方法如下:

  1. 在这个帖子下面回复参与讨论。
  2. 获奖资格:从现在起到 2019/09/18 23:59:59 参与讨论的前 500 名用户具有获奖资格。
  3. 中奖号码 = 2019/09/19 日 A 股大盘收盘点数 * 100 % 所有具有获奖资格的用户排序去除重复后的总数('*'是乘法,'%'是数学取余数)
  4. 比如:有 @y_user @x_user @z_user @x_user 3 个用户依次回复了 4 次,那么所有具有获奖资格的用户排序去除重复后就是 @x_user @y_user @z_user,分配给他们的抽奖号码依次是 0,1,2。假设 A 股收盘点数是 3012.34 点,那么 3012.34 * 100 % 3,中奖号码就是 1,中奖用户就是 @y_user
  5. 提示:因为会排序去重,多次回复不会增加中奖概率。
22286 次点击
所在节点    分享创造
549 条回复
kakudesu
2019-09-12 22:39:12 +08:00
还来得及,快上车
imNull
2019-09-12 22:39:53 +08:00
分母
gcod
2019-09-12 22:41:29 +08:00
拉低中奖率
Rheinmetal
2019-09-12 22:43:18 +08:00
k8s 脚本收下了
xiaome
2019-09-12 22:45:22 +08:00
分母 不 我想当分子!
joocejie
2019-09-12 22:53:10 +08:00
@bomb77 我理解是系统整体负载高,当前进程 CPU 资源被占用了,所以处理能力下降。
GG668v26Fd55CP5W
2019-09-12 22:54:21 +08:00
万一是我呢
bolshevik
2019-09-12 22:56:57 +08:00
感谢分享
joocejie
2019-09-12 22:57:15 +08:00
@zhchyu999 可以把系统网络流量镜像一份到一台机器,做实时解码业务监控,或保存下来供以后分析。
joocejie
2019-09-12 22:57:45 +08:00
@zhouyg 可以把系统网络流量镜像一份到一台机器,做实时解码业务监控,或保存下来供以后分析。
joocejie
2019-09-12 22:59:52 +08:00
@siknet 程序只占用一个 CPU 核,根据你系统整体流量来,流量大占用资源就多一些。推荐至少有双核。
wzw
2019-09-12 23:02:15 +08:00
为了 ps4
geekzjj
2019-09-12 23:03:23 +08:00
哈哈哈分母来了
xiazhiisgood
2019-09-12 23:03:44 +08:00
这是真的吗?
joocejie
2019-09-12 23:04:14 +08:00
@YenvY 我记得刚注册的用户没法回帖,应该没必要限制
carbon
2019-09-12 23:06:25 +08:00
所以说,抽奖还是要参加的,哈哈哈哈
joocejie
2019-09-12 23:09:47 +08:00
@yukiww233 其他比如深度包检测安全分析
joocejie
2019-09-12 23:10:14 +08:00
UnknownR
2019-09-12 23:10:43 +08:00
ps4 我来了
tailaqumos
2019-09-12 23:14:10 +08:00
还好及时上车

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/600422

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX