nginx 日志反导到数据库

[artandlol]

nginx 日志反导到数据库，有比较好的方案吗？ 最近有这个需求，一直没有比较好的方案。

[F281M6Dh8DXpD1g2]

自己写个 parser 把你需要的 column 解出来写到数据库里去
或者找个开源的 parser

[koon_kai]

用 elk?

[artandlol]

@liprais 数据量大，估计处理不了
@koon_kai elk 估计要用到中间键，搞到数据库这个过程不是很明朗

[dallaslu]

@artandlol 先用流式处理或者集群方式，把原始日志加工一下；然后一次性 load 进库

[prasanta]

elk 就 elk，别纠结了

[bigtwo]

https://www.v2ex.com/t/54591

[misaka19000]

写个脚本定时导入感觉很好了

[hustlike]

用 ELK 就不用放到数据库去了……直接存 ELK 里面。你估计只需要一个 ElasticSearch 就够了。

[Cooky]

rsyslog

[yghack]

ELK
数据量很大？不需要中间件，直接 filebeat

[ohhe]

fluentd

[zhengwenk]

elk 还有什么不明朗的

[ohblue]

filebeat

[willis]

nginx 日志自定义为 json ,然后 elk

[MajorAdam]

elk

[sparkssssssss]

rsyslog 实时传到 es 即可