• 请不要在回答技术问题时复制粘贴 AI 生成的内容
zk123
V2EX  ›  程序员

十亿级数据报表,选用什么数据库查询比较快

  •  
  •   zk123 ·
    zk-123 · Nov 19, 2020 · 7206 views
    This topic created in 2178 days ago, the information mentioned may be changed or developed.

    请问各位 v 友们,数据量每日增长约 300w,要做报表,在十亿级别的数据量里,要想查询速度在 2s 内返回,用什么数据库存储查询比较快?

    (最好单表或不需要自己做额外业务,可以加索引,插入更新慢不要紧,查询快就好。)

    28 replies  •  2023-01-14 11:02:42 +08:00
    shakeyo
    shakeyo
    Nov 19, 2020
    1
    mysql+异步队列计算足够简单足够满足需求了
    qiayue
    qiayue
    Nov 19, 2020❤️2
    2
    ClickHouse
    opengps
    opengps
    Nov 19, 2020
    3
    这主要得看你的查询条件,我当年把 gps 坐标轨迹,压缩到只允许 2 个查询结构,15 亿行里分了 31 个区,秒查三天轨迹
    另外,硬盘介质一定要快,尽可能用好的 ssd
    chiva
    chiva
    Nov 19, 2020 via iPhone
    4
    单查询 mysql 完全满足啊
    nuk
    nuk
    Nov 19, 2020
    5
    有索引基本都秒查吧,唯一要担心的就是你的 index 塞不进内存。
    freemoon
    freemoon
    Nov 19, 2020
    6
    ck #2
    Wincer
    Wincer
    Nov 19, 2020
    7
    clickhouse,非常适合 olap,我们最大的一张表有 600 亿的数据。
    wangyanrui
    wangyanrui
    Nov 19, 2020 via Android❤️1
    8
    看查询条件是什么样子,不然没法下定论
    zk123
    zk123
    OP
    Nov 19, 2020
    9
    @opengps @wangyanrui 主要聚合统计偏多
    qiayue
    qiayue
    Nov 19, 2020
    10
    不用选了,上 ClickHouse 吧,CH 就是为这个需求而生的
    vincent7245
    vincent7245
    Nov 19, 2020
    11
    要看你的业务了,如果是统计需求比较多可以考虑大数据技术栈
    samuel
    samuel
    Nov 19, 2020
    12
    ClickHouse
    lucyplay
    lucyplay
    Nov 19, 2020
    13
    ck
    lixintcwdsg
    lixintcwdsg
    Nov 19, 2020
    14
    clickhouse 解决你的所有问题
    yangqingrong
    yangqingrong
    Nov 19, 2020 via Android❤️1
    15
    mycat
    inwar
    inwar
    Nov 19, 2020 via Android
    16
    Ck 或者 es
    hangszhang
    hangszhang
    Nov 19, 2020
    17
    统计需求多 mysql 肯定不行, clickhouse 吧
    yangzh
    yangzh
    Nov 19, 2020 via iPhone
    18
    clickhouse?
    rapperx2
    rapperx2
    Nov 20, 2020
    19
    clickhouse +1
    Cowhitewhite
    Cowhitewhite
    Nov 20, 2020
    20
    vertica ?
    NillSpake
    NillSpake
    Nov 20, 2020
    21
    clickhouse +1
    IDAEngine
    IDAEngine
    Nov 20, 2020 via iPhone
    22
    clickhouse +1
    superman2
    superman2
    Nov 20, 2020
    23
    回复这么多 clickhouse,现在 clickhouse 有这么火吗?你们有谁都用在生产上面了
    superman2
    superman2
    Nov 20, 2020
    24
    @yangqingrong 好久没有在头条上见到你了
    oneoyn
    oneoyn
    Nov 20, 2020
    25
    分布式数据库 mycat
    zk123
    zk123
    OP
    Dec 20, 2020
    26
    感谢大家的建议,clickhouse 很不错,但是支持 ClickHouse 的云平台只有阿里云,而且价格太贵,自己搭一套运维成本太高,纯报表的聚合使用 clickhouse 性价比太低。最终使用了 MongoDB,多维度分表的方式。
    zk123
    zk123
    OP
    May 20, 2021
    27
    后又换成了 Clickhouse
    L0L
    L0L
    Jan 14, 2023
    28
    @zk123 补个楼,老哥 Clickhouse 用起来怎么样呢?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2177 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 60ms · UTC 12:48 · PVG 20:48 · LAX 04:48 · JFK 07:48
    ♥ Do have faith in what you're doing.