关于 mysql count 太慢的问题

[chenqh]

200W 的数据量,count(*)就要 3S 多了

有什么办法提升没有?

使用 cache?但是 count(*)的时候 where 并不是固定的

求指点

[xupefei]

用 where 的列做 partition

[mejee]

没有索引吗

[lmshl]

做不到的，实际上现代数据库也没有在精确 count 上做很多努力，你看各大网站的搜索结果，基本上都是给你个估算值（ 10000+），因为精确 count 是需要遍历所有 where 命中行并聚合计数的。

我在我公司应用上实现的 count 是这么个逻辑：
先用索引概率分布估算一个值，如果这个值小于 10k ，那么执行精确 select count(*) where ... 返回给前端。
如果这个值大于 10k ，那么将此估算值抹去末尾 N 位，返回给前端，前端显示为“约 53200+ 符合结果”

参考资料：
https://wiki.postgresql.org/wiki/Count_estimate
https://www.datastax.com/blog/counting-keys-cassandra

[chenqh]

@lmshl 只有学刚刚下面那个 5KW 那个了,只展示一个日期范围内的数据,不让他选全部,不然太卡了

网上搜了一下,pg 的 count 比 mysql 还慢

[chenqh]

但是如果两个月的数据还是太大,到了 200W 怎么办?

[edis0n0]

35 单位是毫秒吗，毫秒我业务能接受，因为只有后台需要 count 大量数据

[chenqh]

@edis0n0 3S 是 3 秒的意思,35MS 我就不怕了咯

[edis0n0]

@chenqh #7 s 我看成 5 了

[mazyi]

百万的级别，大概率是 where 条件的问题和索引的问题吧，查真实数据也会很慢吧

[signalas1]

换 PG ，要不就是分析加索引

[chenqh]

@signalas1 网上搜的,pg 的 count 比 mysql 要慢

[olaloong]

同坑，mysql 算是快的了，mongodb 更是慢得炸裂。最后放弃精确计数了

[xy90321]

对实时性要求有多高？不高的话另外维护一个件数的值，后台定期更新就好了。

[chenqh]

@xy90321 管理后台,table 的那个 count

[makelove]

这么大数据量谁会实时计算 count ，编程是省心了，可是理论上做不到不遍历
要精确值又要速度只能手动维护一堆计数器，在记录增加时给相关计数器也加一

[dzdh]

count 目的是分页吗。

如果是，前端固定写死 100 页。

[kiwi95]

用户量大的系统一般会有一个单独的 counter 服务来处理各种计数

[oceanthe1h]

MyISAM

[signalas1]

@chenqh Planned Count

To avoid the shortcomings of exact count, PostgREST can leverage PostgreSQL statistics and get a fairly accurate and fast count.

https://postgrest.org/en/v8.0/api.html#planned-count

[kenvix]

如果不要求精确的话可以用 explain select * from table