API 日志分析统计什么架构比较好？

[jsonfork]

目前 app 的 api 请求日志都是放在日志.log 里的，也没有 shell 去统计量。有没有好的工作可以做这种统计，ELK 感觉太过重，有没有轻量的工具推荐？

[InkAndBanner]

同求

[tabris17]

ELK 还重？自己写 python 脚本吧

[ben1024]

ELK
直接 E

[ben1024]

或者用哨兵

[chendy]

elk 虽然”重“但是功能全
其实只有 e 是必须的，l 和 k 都可以换（其实主要是 e 重…）

[letitbesqzr]

没觉得 elk 有多重，es 是那种配置越好性能越好的软件.. 你要实在觉得“重”，使劲压榨下参数不就行了。。

[liujialongstar]

个人感觉 elk 里 k 比较重, 功能太多了, 一直没理清; 好在有替代品

[Fitz]

loki

[ohao]

小公司个人的话 推荐 clickhouse，类 sql 查询支持 这个比较适合
但是也要考虑你的查询需求和日志量和业务增加速度，做好预留

ELK 的套件 非中大公司不太推荐 ，集群，容灾，一堆一堆的问题，虽然资料相对多
对资源和维护要求都比较高
我们以前 CDN 系统的日志支持的是这个，实际交付给客户使用阶段 还是发现不太合适

[xuanbg]

ELK/EFK 这种一点都不重，几行 docker 命令就搞定

[nikandaoleshenme]

0，自己动手写一个
1，日志有明确的格式
2，编写一个程序（ shell 、py 、亦或你最拿手的语言 java 、go ），定时读取日志，然后解析格式（解析规则取决于日志格式），入库
3，库可以是 es，甚至 mysql 、 建议文档数据库 mongodb，简单易用，方便后续的聚合查询
4，工作量：一个人全心投入，一个下午即可出一个 简版来
5，注意事项：日志解析需要细心，大文本读取策略，内存溢出，
6，开始行动 或者 pass

[aeli]

日志目前我用了 loki，算轻量的收集。但对 trace 之类支持不好。

[jsonfork]

@tabris17 奈何脚本使用不灵活。还要手写各种统计的图。

@ben1024
@chendy
@letitbesqzr
@liujialongstar
@xuanbg 谢谢各位，elk 是在待选方案里的，也打算进行尝试。

[jsonfork]

@ohao 感谢，回头了解一下这个东西。

[jsonfork]

@Fitz
@aeli 谢谢，这个东西之前没搞过，看了下介绍，是轻量级工具。

[vipppppp]

我们组折腾了一圈后回到了 elk，filebeat，kafka 。。
自己开发与其他工具不是维护太麻烦、资料太少就是功能缺失。。

[c00WKmdje2wZLrSI]

为什么不用阿里云的日志服务呢？价格比自建低，又不用运维

[stardustree]

想轻量就不要采集原始的日志，直接在客户端从原始日志里抽出关心的指标，然后随便搞个时序数据库存着就好了

[chinvo]

Sonic https://github.com/valeriansaliou/sonic

[gaigechunfeng]

elk 这种是日子分析框架，还是采集框架？
我现在是需要在小程序，前端采集数据。不知道 elk 能不能支持