700W 数据的表，如何做分页查询，速度不低于 1s

[kikione]

mysql ,700W 数据的表，如何做分页查询，速度不低于 1s

[akira]

分页查询在大数据量，多种复合条件查询 的时候 , 确实都比较麻烦 ，没有什么太好的办法

[2kCS5c0b0ITXE5k2]

700W 真的不带条件查询的吗..

[LING97]

我们是 40 亿条数据，不过查询用的 es，速度远小于 1 秒，而且大数据的分页这个需求有点没必要把，肯定要带条件。就像上面那个老哥说的，谁会去看第 6w 页的数据。

[young1lin]

我用 HBase，几亿数据（浙江农业银行），分页也是秒返回。根据不同业务，将 RowKey 拼接好就行了，上 Es 表也是可以的。

[yagamil]

做那么多分页,人是不会去看 100 页后面的了, 反而给了机会给那些爬虫的程序,分分钟拖垮你数据库.
要么是有查询条件.

[huang119412]

使用内存数据库，或者傲腾 p5800X 级别固态。

[wowbaby]

单表 2k 多万，id 是自增，非自增情况，可用雪花算法支持排序，这个我没实际用过，我都是用自增
SELECT * FROM `ht` LIMIT 20049925, 30; // 9.283s
SELECT * FROM `hanting` WHERE id>20049925 LIMIT 30; // 0.001s

前一页的最大行 id，根据 id 来限制起点，微信粉丝列表接口中要传 openid 估计就是这么个理

[wowbaby]

加条件估计做不到吧，上 elasticsearch

[ZeroDu]

HBase 直接干，TB 级别

[linbiaye]

一般都是通过自增 id 解决，搜索条件带上 id

[ebony0319]

700W 如果只是单表查询感觉还是比较 ok.
分页查询主要查了两次 第一次查 count(1),第二次具体分页,大数据可以采用 more 的策略,比如你要查 20 条的数据,你可以查 21 条,返回 20 条,然后告诉前端还有更多,这样就节省一次 count 查询.

[ruanimal]

@3dwelcome leveldb 能分页？？

[echoZero]

如果底层使用 mysql 不变的情况，可以采用瀑布流的，使用最大 id 来查询分页，这样效率不会低

[xiaowei7777]

用 es 吧

[pkwenda]

@xiaowei7777 #34 es 也不行，es 只能考虑游标，且 es 默认限制只能 Limit 10000

[KouShuiYu]

加上索引，去掉 order，

[wangyzj]

别用 limit
用 where id>
或者 redis zset 分页

[leqoqo]

QQ 群关系数据库 几十亿条数据 group 是按 qq 号分的表 QQ 号 /100000 向下取整 为一张表 这样你通过 QQ 号查找 动态拼接表名 就能缩小范围

[3dwelcome]

@ruanimal " leveldb 能分页？？"

弄个自增长 ID 当 KEY，粗略分页呗，chrome 的 indexedDB 就是这样做的。

主要是 key-value 数据库查询快啊。

[zhouyou457]

用 mysql 做过亿级订单数据分页，先用订单时间做数据库分区检索再做分页，结果效果一般，特别是碰到跨区的时候。。更别说加上一些复杂的筛选条件了。。

最后在掐死产品之前，把订单数据迁移到了 Hbase 。。