有没有比较好的日志聚合工具或者技术

2021-10-22 11:12:05 +08:00
 homie2018

有 7 台服务器在运行,使用了阿里云的日志服务 SLS,但 SLS 用于报警还行,平时查 bug 要前前后后看几十行甚至上百行日志,7 台机器来回看有点麻烦。 有没有什么好的手段把日志按时间戳聚合起来, 比如每分钟上传到一个统一的服务器上,然后写个脚本排一下序。 但一个日志文件有几百 MB,这个方式有点慢。

4350 次点击
所在节点    程序员
26 条回复
kaikai5601
2021-10-22 22:55:28 +08:00
你都用 sls 了还有啥不方便的??比 elk 方便,就是对标 elk 的
yicong135
2021-10-23 09:03:23 +08:00
@metrue 用了 2 年,感觉还不错,值得试试
huangzxx
2021-10-23 19:47:58 +08:00
推荐 ELK ,all -> kafka -> logstash -> es -> kibana
fucku
2021-10-24 08:10:30 +08:00
这大于号是什么意思?

比如
->
>
securityCoding
2021-10-24 09:24:13 +08:00
@Hanggi 主要是 ES 集群吃资源,数据量不大的话 3 台 4u16g 机器足够
homie2018
2021-10-25 11:00:22 +08:00
@kaikai5601 主要是不太熟悉,比如通过 taskid abcd123efg 查所有相关的日志,不知道在控制台怎么使用,他们好像提供了类似 SQL 的句法,但我更倾向于在终端使用 grep, awk, sed 等命令进行查询。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/809743

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX