请问使用 scrapy 的优势是什么?直接用 requests 不是很简单?

[hippoboy]

从接触爬虫开始就一直使用 requests,每每和身边人说起来,得到的回答都是 requests 更好用,没必要使用 scrapy

但是看了好多公司的招聘,上面还是有要求使用 scrapy,我觉得这个 scrapy 肯定有它的过人之处?

求教各位朋友,能否让我豁然开朗一下?

[wibile]

@est 别这么自信啊。。。谁还不用个 gevent 啊，但是写大一点的爬虫，难不成又要自己去造轮子？用 scrapy 仅仅是因为方便，除非你写轮子比较快。。。

[makeapp]

我通常都是用 requests 做测试， scrapy 做生产。不清楚 requests 上的高级用法，但 scrapy 的 pipeline ， middleware 非常好用，比如数据存储，换 UA ，换 proxy ， itemloader 。

[ericls]

最后我转向 elixir 了。。。。。。

[est]

@wibile 大一点的爬虫是多大。 scrapy 用什么机制保证了能够支撑这么「大」？

scrapy 方便在哪里？

[makeapp]

@est 方便在于，改下 xpath ，改下数据库存储的格式，就可以抓取几百万的数据。

[est]

@makeapp -_- 😂 👍 高级。甘拜下风。好牛逼。

[julyclyde]

你用 requests 需要写很多东西，后来你把你自己写的很多东西，单独打了个包，叫 scrapy2

[killerv]

scrapy 是个框架， requests 只能算是个类库，就好比你写项目为什么用框架一样，有很多代码你不用去写了， scrapy 会帮你完成。

[killerv]

当然你要是写个很小的项目，功能很少，自然用不上 scrapy

[gimp]

我觉得，爬虫难点在于如何获取大量稳定的代理，而这个问题是恰恰是花钱就能很好解决的。

要求用 scrapy 最可能的原因是规范一点，对整体的流程限制一下，也方便会这个框架的人以后接手。

[gimp]

技术上没法去比较优劣，跟使用者的水平有直接关系。

[haogefeifei]

最近 scrapy 的 log server 也换成了 twisted 里面的 log 了。。。

[chenkun0128]

scrapy 是一套框架，你也可以在 scrapy 中用 requests 呀，正巧最近写了点实战的例子（点我头像）：-）

[petelin]

@leavic requests 加 gevent 如何

[plantparknet]

https://github.com/plantpark/Crawler-Of-Lianjia 这是我用 scrapy 写得爬虫，上手非常简单~~

[yumenami]

scrapy 的增量抓取有点麻烦，特别是历史页面有变更的情况。如果能完美解决这个问题就好了。

[dsg001]

@petelin 再加上 lxml 、 sqlite ，大部分比上 scrapy 快，比较复杂的爬虫 scrapy

[petelin]

@dsg001 恩，不讲场景就是耍流氓，我觉得他主要是胜在生态，模块，集成扩展都简单方便，讲速度你不如手动写 C 语言然后人肉汇编

[mingyun]

@plantparknet nice

[ericls]

@petelin 不一定吧 爬虫的运行速度主要取决于 并发性能 一般 和 计算性能 关系不大吧