mongodb 遇到 i/o 瓶颈，老哥们有没有什么办法？

2020-11-19 17:30:57 +08:00
 QuinceyWu

小弟我用的 Crawlab 平台管理爬虫任务，基本上在跑的有 12 个爬虫，之前是 1s 一条，现在 1min 一条，有没有老哥有好的办法解决下。

1466 次点击
所在节点    程序员
15 条回复
jasonyaoff
2020-11-19 17:41:43 +08:00
1s 一条你确定瓶颈在数据库读写,不是网络 io
teddy2725
2020-11-19 17:53:47 +08:00
合并批量
QuinceyWu
2020-11-19 17:53:48 +08:00
@jasonyaoff 我确定了 公司专线 不是网络问题
QuinceyWu
2020-11-19 17:55:14 +08:00
@teddy2725 好 我去了解下
qq316107934
2020-11-19 18:06:10 +08:00
设置了其他索引吧？数据越多插入效率越低
Pythoner666666
2020-11-19 18:07:50 +08:00
1min ennnnnn 你可以贴下表结构和索引
fasionchan
2020-11-19 19:10:11 +08:00
之前是 1s 一条，也惨不忍睹呀~~~
theOneMe
2020-11-19 19:20:19 +08:00
大概率方向不太对，插入都需要秒级别，那这个数据库早就没人用了。
sadfQED2
2020-11-19 19:22:15 +08:00
1s 一条？？？你插入的数据得有多大？你是把图片啥的都存进去了吗
sadfQED2
2020-11-19 19:24:17 +08:00
看下服务器监控，是磁盘 io 还是网络 io 跑满了。讲道理，搞个树莓派加 sd 卡也不至于 1 分钟一条啊，1 分钟一条我拿笔手写可能都比他快
52coder
2020-11-19 19:25:49 +08:00
1s 一条本身就有问题
QuinceyWu
2020-11-19 19:27:32 +08:00
@theOneMe 我设置 sleep 为 1s
QuinceyWu
2020-11-19 19:27:44 +08:00
@sadfQED2 网页源码
QuinceyWu
2020-11-19 19:30:36 +08:00
@Pythoner666666 就默认 id 索引
QuinceyWu
2020-11-19 19:31:45 +08:00
@qq316107934 就默认 id 索引

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/727220

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX