数据库单表查询速度慢的瓶颈在哪里?

2021-04-13 09:31:52 +08:00
 LeeReamond

如题,不知道是否可以脱离开具体数据库实现,单纯讨论一下基础理论方面的问题。

大家都知道数据库内单表比较大的话需要优化,比如使用 mysql 数据库,举例来说如果有一个五千万行的表,即使使用一个特别单纯的模型,比如每行只存自增主键 + 一个 char10 类型的数据,使用主键搜索 char10,这种情况下因为是主键,所以搜索应该不需要遍历,能直接通过索引确定位置。

但实际执行下,在未分区情况下速度也不会特别快,一般来说比如这个搜索会耗时几秒到十几秒不等的时间。这让我好奇为什么数据库搜索缓慢,其瓶颈在哪里。理论上来说不是只需要计算出位置,然后再去硬盘指定位置取出数据不就可以了么。即使硬盘很慢,读取一个随机位置的数据也不需要几秒到十几秒不等吧。

1542 次点击
所在节点    问与答
9 条回复
arvinsilm
2021-04-13 09:41:42 +08:00
因为不是“计算”出位置,而是“查找”到位置。简单了解一下 mysql 底层存储结构就知道了。
你说的这种应该用 KV 数据库,在知道 Key 的情况下,可以迅速获取到值。
chihiro2014
2021-04-13 09:50:37 +08:00
这个你得看数据库查找数据的方式了,建议看下索引那一块
cheng6563
2021-04-13 09:54:01 +08:00
位置不是算出来的,是“试”出来的,数据多了就试得多。不过你耗时几十秒也不正常。
wanguorui123
2021-04-13 09:55:27 +08:00
1 、不同索引算法的性能
2 、内存数据库缓存的大小
3 、硬盘 IO 的 4K 性能
4 、网络延迟
5 、CPU 的运算速度
timethinker
2021-04-13 10:00:44 +08:00
这里面涉及到太多的内容了,楼主如果实在想要了解的话推荐一本书《数据密集型应用系统设计》。书本身的内容简单易懂,并且引用了大量的文献资料以便深入阅读。
xsm1890
2021-04-13 10:32:54 +08:00
1.mysql 数据库也有很多种存储引擎,不知道你说的是哪一种
2.拿最常用的 innodb 来说,即使表中有五亿数据,正常情况下,主键查找都是非常快的;你这里几秒到十几秒是非常不正常的。
3.innodb 内部查找类似于二叉查找,时间复杂度 O(logN);对于主键单条查找,分区并不会有显著的影响。
4.有一种情况下按照主键查找可能出现你说的几秒或者几十秒的情况:同时在一个查询里查找多条(如一千或者更多)随机无序的主键 id ;此时 CBO 的优化器认为多次的随机读代价太大,会选择全表扫描,才有可能出现主键查找 性能低下的问题。
opengps
2021-04-13 10:41:25 +08:00
主要查执行过程,看看是不是没走索引
另外对于查询需求,还是尽量避免大表查询的好
securityCoding
2021-04-13 11:14:55 +08:00
你磁盘的 io 压力比较大吧,不然不会这么不稳定
Justin13
2021-04-13 11:26:42 +08:00
把 SQL 写出来啊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/770254

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX