有大神指点下腾讯云 CDN 的日志用什么分析比较好嘛

2017-01-31 13:28:32 +08:00
 d754903977

腾讯云 CDN 的日志有点不同...

20170131000025 183.XXX.XXX.XXX www.XXX.COM /XXX.php 137 2 1046 514 http://www.XXX.COM/xxx.html 1 "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36" "(null)" POST HTTP/1.1 hit

他们的日志内容依次包括:请求时间、访问域名的客户端 IP 、被访问域名、文件请求路径、本次访问字节数大小、省份、运营商、 http 返回码、 referer 信息、 request-time(毫秒)、 User-Agent 、 range 、 HTTP Method 、 HTTP 协议标识、缓存 Hit/Miss

用普通的日志分析软件不好分析...

1867 次点击
所在节点    问与答
5 条回复
lakewong
2017-01-31 14:44:00 +08:00
Excel 表格,粘进去就可以。
Terenc3
2017-01-31 14:54:15 +08:00
用 ELK ,我也用腾讯的 CDN ,我用 shell 每天凌晨 1 点下载到本地,然后用 filebeat 读取分析。

前端的 nginx 和 apache 日志也可以用 ELK 分析。

类似这个:使用 Elastic Stack 处理 nginx 日志
https://enginx.net/2016/11/27/%E4%BD%BF%E7%94%A8elastic-stack%E5%A4%84%E7%90%86nginx%E6%97%A5%E5%BF%97.html

可惜 v2 贴不了图...
snnn
2017-01-31 18:41:22 +08:00
Python 。按需写几行脚本,最多一下午就搞定了。
mengskysama
2017-02-01 02:48:46 +08:00
elk 是不错就是套件莫名吃机器,检索报警也方便,稍微带量至少 8g 内存。
zhiyuan91
2017-02-01 10:16:46 +08:00
可以试试 splunk

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/337496

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX