小公司,想做一个日志分析的程序,带 Web 前端的,求方案推荐

2021 年 4 月 25 日
 nbsn
请问下各位 V 友,我们小公司目前有个小需求,是对日志文件的按需处理。需求和模块如下。请问下有没有合适解决方案呢?求支招。谢谢!

日志文件处理:

需求:
数据源:第三方程序生成明文的,固定格式的日志,定时以 ftp 方式吐到 ftp 服务器上的文件夹;

日志处理:
日志数据文件,按时间段自动打包压缩;

数据库:
根据日志数据文件收到的内容,全额写入数据库;
数据库定时备份;

Web 前端:
设定统计条件,读取数据库,生成统计图,表格;
日志延时处理;

后端:
通过 LDAP 连接 AD,定时遍历 AD 用户内容,维护日志映射表,web 前端统计调用;

审计模块:
操作日志的记录;

通知模块:
设定通知条件,达到条件后自动触发通知;
大量日志告警通知功能;
4713 次点击
所在节点    程序员
18 条回复
lhx2008
2021 年 4 月 25 日
数据不多推到云上呗。。省事
nbsn
2021 年 4 月 25 日
@lhx2008 云上有合适的处理的引擎吗?比如归类,按照大小排序,将结果写入数据库等?
lhx2008
2021 年 4 月 25 日
@nbsn #2 腾讯云的 CLS 我用过的 OK,可以自己整大盘和图、告警,你要在自己执行查询应该也有接口
BeautifulSoap
2021 年 4 月 25 日
不是做成产品,是拿来公司内部用?
那直接上 ELK 啊,你的需求都能满足
cominghome
2021 年 4 月 25 日
Grafana + Elasticsearch 不香吗?
tianyuan233
2021 年 4 月 25 日
kibana
chawuchiren
2021 年 4 月 25 日
@lhx2008 腾讯云的 CLS,你们怎么处理的分词?
RRRoger
2021 年 4 月 25 日
elk
varrily
2021 年 4 月 25 日
阿里 日志服务
nbsn
2021 年 4 月 25 日
@BeautifulSoap 谢谢推荐,看来这个不错
37Y37
2021 年 4 月 25 日
推荐 ELK,画图这块可以看 Grafana 看能不能满足,不行的话自己写也可以,ES 有 API
我们实现的一些思路,可以参考 https://blog.ops-coffee.cn/elk
ychost
2021 年 4 月 25 日
推荐 ELK + Telegraf + Grafana
nbsn
2021 年 4 月 25 日
@37Y37 Grafana 做前端,汉化有压力。有部分业务面向客户的。
pkupyx
2021 年 4 月 25 日
上云,然后买买买
zzzmh
2021 年 4 月 25 日
@lhx2008 学到了,cls 好像挺好的适合我,我之前是自己用 java 写,各种麻烦还不完美各种小问题,cls 正好适合我的需求,价格也能接受
nbsn
2021 年 4 月 25 日
@37Y37 请问下可以提供下技术支持吗?有¥
drinkjs
2021 年 4 月 26 日
前端数据可视化可以看下 Mojito
shynome
2021 年 4 月 26 日
@nbsn 找个人做 grafana 做汉化不行吗?既完成了业务也造福了大家

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/773004

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX