关于日志收集,有比较好的工具推荐吗?

2018-07-11 16:26:39 +08:00
 strict
项目模型比较简单,主要是使用 flask,使用 supervisor 托管
所以日志是 supervisor 的日志和 celery 的日志。
同时服务器分测试服务器和正式服务器
有没有一个工具能把多台电脑上的多个文件的日志集中收集到一个地方?
以及对于日志这块,各位的最佳实践都是什么? 欢迎分享
4708 次点击
所在节点    Python
17 条回复
zhengxiaowai
2018-07-11 16:29:22 +08:00
sentry ?
lululau
2018-07-11 16:31:37 +08:00
ELK 啊,如果没有分析的需求,简单一点可以只用 FileBeat 来做汇集
FiveDDD
2018-07-11 16:39:23 +08:00
腾讯云有日志服务,目前免费(内测阶段,勉强够用),也可以考虑国外的 loggly (很成熟) 之类的。
strict
2018-07-11 17:07:59 +08:00
@zhengxiaowai 这个工具目前来看还不错,ELK 相比就有点太大了。
strict
2018-07-11 17:08:45 +08:00
@FiveDDD 腾讯云你们正式业务有在用吗?
tingyunsay
2018-07-11 17:12:17 +08:00
瞎几把说,日志切好,写通用脚本 hadoop put ..,hdfs 存储(分 ip )
lbp0200
2018-07-11 17:15:53 +08:00
老乡,rsyslog,了解一下,系统自带
cirton
2018-07-11 17:17:41 +08:00
flume ?
glacer
2018-07-11 17:22:44 +08:00
只是日志收集的话,那就是 logstash 啊
welkinzh
2018-07-11 17:24:24 +08:00
目前在用 filebeat + elasticsearch
eastrd
2018-07-11 17:33:42 +08:00
Splunk 全家桶
jinwyp
2018-07-11 17:41:28 +08:00
看了回答, 混乱了. 原来日志没有最佳实践.
ideascf
2018-07-11 17:48:07 +08:00
@zhengxiaowai sentry 不适合用来做日志收集,而是用来做异常(日志)收集。
SevenJ
2018-07-11 18:13:22 +08:00
没有特别需求,只是 tail 日志文件的话 rsyslog 足矣
BTW, rsyslog 可以直接打日志到 kafka
jemygraw
2018-07-11 18:14:05 +08:00
用七牛的 logkit,直接打到云端。https://github.com/qiniu/logkit
derrick1
2018-07-12 09:37:30 +08:00
graylog
shenxgan
2018-07-12 20:47:49 +08:00
推荐一下 flume,架构简单,实用

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/469950

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX