想写一个日志分析工具,有没有好的轮子

2018-09-11 16:04:12 +08:00
 meowoo

主要内容就是,分析应用重启阶段的日志,判断是否有异常之类的。

要正则匹配关键字处理么? 看了几个都是这样简单的处理的。

大家有什么好想法么, 或者有什么现成的轮子用。

3579 次点击
所在节点    Python
15 条回复
limbo0
2018-09-11 16:16:46 +08:00
多大的日志,试试 logstash
meowoo
2018-09-11 16:19:28 +08:00
@limbo0 一般都是几 M 到几十 M 应用的重启日志,spring bot,weblogic,tomcat,等中间件的日志

我先看下 谢谢
billzhuang
2018-09-11 16:22:28 +08:00
ELK 或者用 EL + Grafana
meowoo
2018-09-11 16:31:24 +08:00
@billzhuang 感觉有些庞大了,现在的工具是远程执行重启命令,打印出来的内容会保存在本地,然后分析这份重启日志判断应用是否正常启动。有没有轻量级的推荐,主要想要的就是,给一个 log 文件,分析是否有报错,谢谢
qq976739120
2018-09-11 16:38:26 +08:00
filebeat+es+kibana logstash 实在是太重了
gulu
2018-09-11 19:45:23 +08:00
只是需要分析报错的话,要不试试 sentry ?
exiaohao
2018-09-11 19:47:46 +08:00
d0m2o08
2018-09-11 20:35:48 +08:00
轻量的 graylog 了解一下,elk 实在太笨重,数据量不大没必要
baojiweicn2
2018-09-11 20:46:41 +08:00
senty,elk 都挺好的
aimiyooo
2018-09-11 21:38:10 +08:00
elk+1
xpresslink
2018-09-11 22:34:16 +08:00
就这么简单的事情还要轮子。

直接用 python 撸个脚本就可以了,直接 os.popen('grep -E "regex" filename') 或者 os.popen('zgrep -e "regex" filename.gz')

其实这样弄比直接用 python 处理要快得多,grep/zgrep 是 C 写的还支持文件通配。

推荐 open falcon,ELK
meowoo
2018-09-12 02:25:54 +08:00
@xpresslink 我自己是准备这样搞得,就想看看有没有好轮子用
Livid
2018-09-12 02:43:46 +08:00
geelaw
2018-09-12 03:36:47 +08:00
Get-Item '你的日志文件' | Select-String '你的正则表达式' | Out-GridView
hearfish
2018-09-12 03:48:47 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/488229

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX