有 50w+完全不一样的网址要爬， 用 requests 还是 scrapy？

[qq12345454]

这 50w+的网址，完全不重复， 而且只爬个首页

大家觉得用 requests 还是 scrapy ？

能说说这种场景下，两者的优势吗？

谢谢

[bazingaterry]

一个是爬虫框架，一个是 HTTP Client 库，有得比吗？

除非是很不熟悉 Python，不然果断 Scrapy 啊。

[e9e499d78f]

wget

[cdwyd]

才 50w，requests 就行

[tennc]

requests 遍历打开网址，只存储 首页~ 就好了~~

[misaka19000]

50w，没什么区别

[misaka19000]

熟悉哪个用哪个

[liangmishi]

感觉两者都可以，还可以用 aiohttp 这个异步库，50 万不用多久就可以跑完了

[terrawu]

像这种逻辑不复杂又追求速度的话，elrang 或者 go。我的结果是，主流方案中 erlang 效果最佳。

[wlsnx]

没区别

[fiht]

最省心的解决办法应该是给我 500 块我给你数据。
不信的话你自己试试看 =、=