• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yuan434356430
V2EX  ›  程序员

咨询下项目日志存储方案

  •  
  •   yuan434356430 · Oct 29, 2020 · 1744 views
    This topic created in 2073 days ago, the information mentioned may be changed or developed.

    架构迁移中,老项目的日志存储是一次请求过来,数据库存储多次日志(可能涉及到请求其他平台,也要存储)

    ​ 我想优化一下其中的流程,因为老项目都是单条存入库中的,目前想到两种方案:

    1. 将日志写入 Redis,再定时或每百条批量存入数据库
    2. 将日志推到 Kafka,然后消费掉这些日志,统一存到库里

    ​ 目前想问一下有做过的朋友,还有没有其他的方案,还有我想到的这两个方案的可行性怎么样

    日志的在特定的情况下实时性要求比较高,其他时间无所谓

    nodesolar
        1
    nodesolar  
       Oct 29, 2020
    kakfa 比较合适
    itsql
        2
    itsql  
       Oct 29, 2020
    日志推到 Kafka,消费存到 ES
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2747 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 12:40 · PVG 20:40 · LAX 05:40 · JFK 08:40
    ♥ Do have faith in what you're doing.