关于 scrapy 为什么我测试 好像还是 CPU 线程越多性能越好？

2017-05-27 09:30:31 +08:00
 xiaoyu9527

8 核 CPU 的 ATOM 能跑满 100M 带宽

2 核 CPU 的 E3 只能跑 8M

4 核 AMD 只能跑 5M

2390 次点击
所在节点    Python
4 条回复
fiht
2017-05-27 12:14:46 +08:00
scrapy 是异步 IO 的...受限于 Python 的 GIL 锁无论如何也只能跑慢一个核啊（有子调用不算
neoblackcap
2017-05-27 12:30:00 +08:00
贴最小可重现代码，你这样没法说。
haogefeifei
2017-05-27 12:34:47 +08:00
不加组件是单核的。。 你这多核是怎么跑的
xiaoyu9527
2017-05-27 16:45:42 +08:00
@haogefeifei 我下载图片的这个部门 urllib.openurl 做的 是不是因为这个原因？

跑带宽应该就是下载图片这个部分


@neoblackcap
@fiht

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/364135

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX