咨询下项目日志存储方案

2020-10-29 14:31:42 +08:00
 yuan434356430

架构迁移中,老项目的日志存储是一次请求过来,数据库存储多次日志(可能涉及到请求其他平台,也要存储)

​ 我想优化一下其中的流程,因为老项目都是单条存入库中的,目前想到两种方案:

  1. 将日志写入 Redis,再定时或每百条批量存入数据库
  2. 将日志推到 Kafka,然后消费掉这些日志,统一存到库里

​ 目前想问一下有做过的朋友,还有没有其他的方案,还有我想到的这两个方案的可行性怎么样

日志的在特定的情况下实时性要求比较高,其他时间无所谓

845 次点击
所在节点    程序员
2 条回复
nodesolar
2020-10-29 17:16:59 +08:00
kakfa 比较合适
itsql
2020-10-29 17:22:15 +08:00
日志推到 Kafka,消费存到 ES

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/719780

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX