V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
dapengzhao
V2EX  ›  问与答

每天大概一亿条数据,该用什么表,什么数据库比较好?

  •  
  •   dapengzhao · 2019-10-17 16:19:59 +08:00 · 4665 次点击
    这是一个创建于 1624 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前用了 mongo 打算一天存一个集合,但是数据到了五千万左右的时候写入速度就很慢了,每秒几百条。

    {
        "_id" : ObjectId("5da7e7842bd2cd5578ebdf52"),
        "time" : "2019-09-01 08:01:45.899",
        "src_ip" : "59.1.1.1",
        "port" : "64466",
        "proto" : "TCP",
        "in_bytes" : "60",
        "out_bytes" : "0",
        "in_packets" : "1",
        "out_packets" : "0",
        "flows" : "1",
        "is_edu_net" : "1"
    }
    

    数据结构大概是这样,后面需要展示,就这样表格一条数据占一行,会按照 ip,端口,或者协议查询。

    19 条回复    2019-10-18 02:28:03 +08:00
    oscer
        1
    oscer  
       2019-10-17 16:21:40 +08:00
    pg?
    taotaodaddy
        2
    taotaodaddy  
       2019-10-17 16:22:48 +08:00 via Android
    时序?
    mikulch
        3
    mikulch  
       2019-10-17 16:33:12 +08:00   ❤️ 1
    hbase?
    atbility
        4
    atbility  
       2019-10-17 16:43:07 +08:00
    elasticsearch?
    l0wkey
        5
    l0wkey  
       2019-10-17 16:46:10 +08:00
    TSDB
    rrfeng
        6
    rrfeng  
       2019-10-17 16:48:48 +08:00
    应该是 cache 满了,合理调整一下应该可以的。
    qiayue
        7
    qiayue  
       2019-10-17 16:52:42 +08:00
    不用问,问就是时序数据库
    tt67wq
        8
    tt67wq  
       2019-10-17 16:57:19 +08:00
    influxdb
    letitbesqzr
        9
    letitbesqzr  
       2019-10-17 17:18:54 +08:00
    @atbility #4 elasticsearch 真的适合如此高的频率写入数据?我所了解要说写入效率,es 是常见的数据库中最慢的。
    hkitdog
        10
    hkitdog  
       2019-10-17 17:24:52 +08:00 via iPhone
    Oracle
    ebingtel
        11
    ebingtel  
       2019-10-17 17:26:44 +08:00
    @letitbesqzr 先写入 kafka 再写 ES
    yingsunwl
        12
    yingsunwl  
       2019-10-17 17:33:24 +08:00
    clickhouse
    rockyou12
        13
    rockyou12  
       2019-10-17 17:34:59 +08:00
    时序库吧,timescale,influxdb 这种,上面说 es 估计也行但性能会差些
    11ssss
        14
    11ssss  
       2019-10-17 17:36:43 +08:00
    TDengine
    atbility
        15
    atbility  
       2019-10-17 17:37:06 +08:00
    @letitbesqzr es 挺快的啊,上次我整了 10 个亿的数据,9 台服务器,速度杠杠滴
    zxc111
        16
    zxc111  
       2019-10-17 17:38:17 +08:00
    clickhouse+1
    wangxiaoaer
        17
    wangxiaoaer  
       2019-10-17 19:02:49 +08:00
    TSDB 性能如何啊,看这个文章好像很差啊。

    https://zhuanlan.zhihu.com/p/56982951

    但是基于 pg,这个点让人爱不释手。
    Pythondr
        18
    Pythondr  
       2019-10-18 01:08:54 +08:00 via Android
    这种数据,明显时序数据库
    Samuelcc
        19
    Samuelcc  
       2019-10-18 02:28:03 +08:00 via Android
    hbase
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1179 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 18:20 · PVG 02:20 · LAX 11:20 · JFK 14:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.