有优化高手没,咨询个 IO 高并发的问题

2014-12-20 15:42:27 +08:00
 xiaoyaoking
有优化高手没,咨询个 IO 高并发的问题

一个采集程序,mysql 数据库已经 将近 40G 。 之前没查io以为是 数据量的问题(几千万条数据,27G大小),所以分了表,单表基本在百万条2G左右大小。
分表以后稍好一点,还是很卡,我就查了IO占用,发现占用很高 如下图, 有 搞运维的没 给瞅瞅 看有啥缓解办法没。

做raid 或者换 SSD 这办法我也清楚。不过之前是我负责的项目,现在我已经离职了,不想撒手不管,暂时硬件上可能做不了什么。

截图的这台机器是普通硬盘,另外一台机器是 SAS 只比这个稍好一点。

Total DISK READ: 953.85 K/s | Total DISK WRITE: 1641.87 K/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
2040 be/4 root 27.36 K/s 11.73 K/s 0.00 % 99.99 % php /usr/oook.php 1 8
2041 be/4 root 50.82 K/s 66.46 K/s 0.00 % 99.99 % php /usr/oook.php 1 15
2060 be/4 root 66.46 K/s 70.37 K/s 0.00 % 99.99 % php /usr/oook.php 8 0
2039 be/4 root 58.64 K/s 62.55 K/s 0.00 % 99.99 % php /usr/oook.php 1 0
2045 be/4 root 46.91 K/s 27.36 K/s 0.00 % 99.99 % php /usr/oook.php 3 0
2036 be/4 root 46.91 K/s 31.27 K/s 0.00 % 99.99 % php /usr/oook.php 0 0
2087 be/4 root 43.00 K/s 70.37 K/s 0.00 % 99.99 % php /usr/oook.php 8 15
2053 be/4 root 54.73 K/s 35.18 K/s 0.00 % 99.99 % php /usr/oook.php 5 15
2049 be/4 root 19.55 K/s 43.00 K/s 0.00 % 99.99 % php /usr/oook.php 4 8
2058 be/4 root 15.64 K/s 7.82 K/s 0.00 % 96.09 % php /usr/oook.php 7 8
2057 be/4 root 35.18 K/s 27.36 K/s 0.00 % 94.99 % php /usr/oook.php 7 0
2046 be/4 root 43.00 K/s 35.18 K/s 0.00 % 93.52 % php /usr/oook.php 3 8
2043 be/4 root 43.00 K/s 35.18 K/s 0.00 % 91.56 % php /usr/oook.php 2 8
2056 be/4 root 35.18 K/s 35.18 K/s 0.00 % 91.32 % php /usr/oook.php 6 15
2037 be/4 root 46.91 K/s 39.09 K/s 0.00 % 91.20 % php /usr/oook.php 0 8
2051 be/4 root 3.91 K/s 35.18 K/s 0.00 % 90.07 % php /usr/oook.php 5 0
2042 be/4 root 39.09 K/s 35.18 K/s 0.00 % 89.00 % php /usr/oook.php 2 0
2047 be/4 root 31.27 K/s 35.18 K/s 0.00 % 85.69 % php /usr/oook.php 3 15
2052 be/4 root 3.91 K/s 0.00 B/s 0.00 % 85.26 % php /usr/oook.php 5 8
2038 be/4 root 27.36 K/s 39.09 K/s 0.00 % 82.17 % php /usr/oook.php 0 15
2050 be/4 root 43.00 K/s 35.18 K/s 0.00 % 81.07 % php /usr/oook.php 4 15
2044 be/4 root 23.46 K/s 35.18 K/s 0.00 % 80.80 % php /usr/oook.php 2 15
2055 be/4 root 62.55 K/s 46.91 K/s 0.00 % 80.30 % php /usr/oook.php 6 8
2054 be/4 root 15.64 K/s 7.82 K/s 0.00 % 78.17 % php /usr/oook.php 6 0
2059 be/4 root 50.82 K/s 50.82 K/s 0.00 % 75.61 % php /usr/oook.php 7 15
2613 次点击
所在节点    问与答
2 条回复
ETiV
2014-12-20 15:57:11 +08:00
物理极限都达到了,只能用物理的办法解决了……
xiaoyaoking
2014-12-20 20:43:03 +08:00
@ETiV 也咨询了几个运维的朋友,有建议换nosql的。 有建议把库放内存里跑的。。放内存是个好办法,不过数据安全性也很重要,看来还是只能从硬件上入手了。先建议原雇主做 raid 吧。 SSD 貌似安全性也不太好。 之前有个站 10W+ IP 用SSD 就丢过一次数据,数据库也在SSD上。。恢复了半天。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/155319

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX