想把日志存入到 es 里面,不使用 Logstash 直接存到 es 可以吗?

2017-10-12 10:07:43 +08:00
 mentalidade

日志量大概一天 200 万的样子,以后可能会变大。

原因:
1.我传入的就是格式化好的 json 数据,看 Logstash 就是对输入的数据格式化输出到 es 里,所以我感觉这个 Logstash 对我没有什么用
2.主要就是担心性能了,那传入 kafka,然后输出到 es,是不是可以?
6452 次点击
所在节点    程序员
23 条回复
mentalidade
2017-10-12 17:54:20 +08:00
@mengzhuo 厉害了
badttt
2017-10-12 18:19:43 +08:00
10W 每秒,自己写的 etl 工具采集
owenliang
2017-10-13 13:41:27 +08:00
需要批量写,单条写肯定是扛不住。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/396972

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX