十亿级数据报表,选用什么数据库查询比较快

2020-11-19 12:08:02 +08:00
 zk123

请问各位 v 友们,数据量每日增长约 300w,要做报表,在十亿级别的数据量里,要想查询速度在 2s 内返回,用什么数据库存储查询比较快?

(最好单表或不需要自己做额外业务,可以加索引,插入更新慢不要紧,查询快就好。)

5209 次点击
所在节点    程序员
28 条回复
shakeyo
2020-11-19 12:11:37 +08:00
mysql+异步队列计算足够简单足够满足需求了
qiayue
2020-11-19 12:13:14 +08:00
ClickHouse
opengps
2020-11-19 12:15:16 +08:00
这主要得看你的查询条件,我当年把 gps 坐标轨迹,压缩到只允许 2 个查询结构,15 亿行里分了 31 个区,秒查三天轨迹
另外,硬盘介质一定要快,尽可能用好的 ssd
chiva
2020-11-19 12:27:00 +08:00
单查询 mysql 完全满足啊
nuk
2020-11-19 12:37:14 +08:00
有索引基本都秒查吧,唯一要担心的就是你的 index 塞不进内存。
lasuar
2020-11-19 12:46:01 +08:00
ck #2
Wincer
2020-11-19 12:46:09 +08:00
clickhouse,非常适合 olap,我们最大的一张表有 600 亿的数据。
wangyanrui
2020-11-19 13:09:23 +08:00
看查询条件是什么样子,不然没法下定论
zk123
2020-11-19 13:35:56 +08:00
@opengps @wangyanrui 主要聚合统计偏多
qiayue
2020-11-19 13:40:23 +08:00
不用选了,上 ClickHouse 吧,CH 就是为这个需求而生的
vincent7245
2020-11-19 13:44:48 +08:00
要看你的业务了,如果是统计需求比较多可以考虑大数据技术栈
samuel
2020-11-19 13:57:09 +08:00
ClickHouse
lucyplay
2020-11-19 14:17:48 +08:00
ck
lixintcwdsg
2020-11-19 15:13:32 +08:00
clickhouse 解决你的所有问题
yangqingrong
2020-11-19 22:25:08 +08:00
mycat
inwar
2020-11-19 22:43:25 +08:00
Ck 或者 es
hangszhang
2020-11-19 23:08:28 +08:00
统计需求多 mysql 肯定不行, clickhouse 吧
yangzh
2020-11-19 23:31:37 +08:00
clickhouse?
rapperx2
2020-11-20 09:04:45 +08:00
clickhouse +1
Cowhitewhite
2020-11-20 09:44:26 +08:00
vertica ?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/727058

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX