rsyslog+elasticsearch 日志收集系统

2015-06-25 16:54:50 +08:00
 fxxkgw

想用最新的rsyslog通过omelasticsearch插件把nginx日志收集整理放到elasticsearch内,再用kibana分类展示。
之前数据是通过logstash做的解析分割,现在想用rsyslog+omelasticseach代替logstash,有用过这种方式的么?

5057 次点击
所在节点    Elasticsearch
7 条回复
eggegg
2015-06-25 17:31:51 +08:00
ELK这么成熟的方案,用rsyslog有何优势?
wych
2015-06-25 18:02:17 +08:00
针对你的问题,我只能回答:有。
fxxkgw
2015-06-25 18:17:23 +08:00
@eggegg
现有流程是rsyslog收到数据存到redis logstash从redis取数据切割后放到elasticsearch内 现在想用rsyslog的omelasticsearch插件直接将数据接收后放入elasticsearch 相当于砍掉了redis和logstash。看效率和机器负载会不会好一些。


@wych
兄弟莫惜字如金哈 有方案可以一起交流咯。。
ksupertu
2015-06-25 20:29:44 +08:00
新浪的日志解析系统就是这样的,搜索三斗室的博客
billzhuang
2015-06-25 21:54:55 +08:00
logstash可以设置成input为nginx log file, output 设置成elasticsearch啊
wych
2015-06-26 10:20:25 +08:00
@fxxkgw 先定位负载的瓶颈在哪里然后在找解决方案啦
xderam
2015-06-26 12:11:09 +08:00
楼主可以加那个logstash群问....

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/201133

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX