如何记录 Linux 端口的出口 http 请求并统计

[SJ2050cn]

我想要统计一段时间内 Linux 服务器发送的请求信息，预期的统计结果形式类似如下：
2021-7-11 8:00-18:00
url method conut
baidu.com get 2
v2ex.com post 3
...
目前我了解到 tcpdump 可以对请求进行抓包并记录，最后可以通过脚本的方法进行统计处理，但似乎有点麻烦，不知各位老哥有啥建议。

[cdlnls]

似乎只有抓包这一条路可以走
waf 防火墙设备的统计信息里面可能有记录这些服务器发起 http 请求

[SJ2050cn]

@cdlnls 有啥功能全的 waf 防火墙推荐吗，我目前机子用的 verynginx，很简陋。

[ik]

clarles

[ik]

纠正 charles

[SJ2050cn]

@ik 请问这个可以单独命令行安装和运行吗，服务器没配置图形化界面，上网搜了一下 charles 的教程都是在图形化界面下进行的。

[ik]

@SJ2050cn 估计得图形化界面…

[gefranks]

本机搞个透明代理 要抓的流量都过一次代理？

[adrianzhang]

如果只是 http 的话，可以从 web 服务器日志分析下手。这方面 Splunk 可以做，也有很多 open source 项目。

[also24]

直觉上可以用 mitmproxy 搞定

https://mitmproxy.org/

[woodrat]

统计出流量并且不指定进程的话，tcpdump 比较可行，其他的更麻烦一点

[cdlnls]

@SJ2050cn 额，我刚刚说的防火墙不是 verynginx 这种软件。是那种硬件设备(类似深信服安恒这样厂家的产品)，这些都是基于流量去做防护的，所以我才说*可能*有记录服务器发起的 http 请求。

另外刚刚又想到一个问题，如果是在本机通过 tcpdump 抓包的话，是统计不了 https 的访问请求的，获取不到 url 和 method 。上面的 waf 应该也不行，貌似解决的办法只有让需要统计的程序使用代理，然后再在代理那一层上统计，或者是改程序，由发起请求的程序统计。

[also24]

@cdlnls #11
楼主在问题里虽然写的是 url，但是从下面的例子来看又只取了域名，如果只需要域名的话靠 SNI 信息就行了。

[supermoonie]

之前 java 写过 https 抓包，图形界面写了一大半，再改改就能满足你的需求