首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
华为云
V2EX  ›  程序员

向大家请教个问题,如果使用数据存储一些检测日志,每分钟一条日志,那日志长年累月就很多,这些日志还要经常查询,时间越久查询越慢,大家怎么看这个问题

  •  
  •   daijinming · 188 天前 · 2597 次点击
    这是一个创建于 188 天前的主题,其中的信息可能已经有所发展或是发生改变。
    23 回复  |  直到 2018-04-17 08:49:05 +08:00
        1
    HuHui   188 天前 via Android
    历史数据归档或者删掉
        2
    fredcc   188 天前   ♥ 1
    时间序列数据库以及日志分析工具生态了解下
        3
    liuzelei   188 天前
    elk 不是标配么?
        4
    liuzelei   188 天前
    一分钟一条这点量估计 es 是喂不饱了。。。。。
        5
    lianxiaoyi   188 天前
    1 分钟才一条日志,一小时 60 条,一年 366 天,一年才 527040,十年才 5270400,只能说你索引没建好。。。。。
        6
    virusdefender   188 天前
    partition
        7
    d0m2o08   188 天前
    elasticsearch 了解一下
        8
    qinrui   188 天前 via iPhone
    一秒几百条的交易数据怎么办?
        9
    changnet   188 天前 via Android
    秒级的按日期分一下表 mysql 都没啥问题
        10
    vegito2002   188 天前 via iPad
    首先你这个数据量其实很小, 其次就算真的很大现在成熟方案也很多,MapReduce 了解一下
        11
    mafeifan   188 天前 via Android
    分割啊
        12
    daijinming   188 天前
    @vegito2002 一组设备收集的检测数据确实不太多,可设备会越来越多,并且运行几年后可用性越来越低肯定是个趋势,现在还用 SQL 存储,有没有平滑的过渡方案
        13
    hcymk2   188 天前
    前面有人说过了 时序数据库。
        14
    Miy4mori   188 天前
    日志这种非关键数据 mongodb 集群存一下,分片做好杠杠的。
        15
    20has   188 天前 via Android
    elk 好像是日志的好归宿~
        16
    iyaozhen   188 天前 via Android
    你这量级基本属于你自己的问题,数据库没有索引?

    每天 100w 内的日志不愿折腾的话 MySQL 表分区就行。时间字段按天分区

    其它就是看需求,方案很多,elk 是最流行的方案。
        17
    mkeith   188 天前
    表分区啊
        18
    cnbobolee   188 天前
    每分钟一条日志,量比较小了。日志没必要全部保存,有时间区间划分吧。
        19
    projectzoo   188 天前
    这很小吧?都不用 Hadoop 那一套,ES 应该就可以轻松搞定了
        20
    loarland   188 天前
    这个量太少了。。。
        21
    nmgwddj   188 天前
    读取文件不是每次都要从头读到尾的,文件再大不超过文件系统限制,读取的时候设置一下偏移一样很高效啊,怎么会有越来越慢的情况呢?
        22
    LeeSeoung   188 天前
    ELK 了解下。。查询日志的开发都省了。。
        23
    owt5008137   187 天前 via Android
    分库分表或者 elasticsearch
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   906 人在线   最高记录 3762   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 21ms · UTC 23:22 · PVG 07:22 · LAX 16:22 · JFK 19:22
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1