请问使用 scrapy 的优势是什么?直接用 requests 不是很简单?

[hippoboy]

从接触爬虫开始就一直使用 requests,每每和身边人说起来,得到的回答都是 requests 更好用,没必要使用 scrapy

但是看了好多公司的招聘,上面还是有要求使用 scrapy,我觉得这个 scrapy 肯定有它的过人之处?

求教各位朋友,能否让我豁然开朗一下?

[jackon]

新手讨论如何爬的更快。
受过伤的都在研究怎么慢一点爬。

单站，单线程不 sleep 都被封，
不理解多线程的需求哪里来的。

多站，一个进程负责一个站就好了。
揉在一起搞个高并发框架，意义也不大。

然后就发现, scrapy 能复用的代码，好像不多。
自己 requests 库写，也没几行代码。

然后，就用这么原始的技术写爬虫，
接了几个小项目，赚了 6 位数。

[xuxiongrui]

@jackon
...
...
接了几个小项目，赚了 6 位数。
====================================================
大神求带，请问大神有没有微信号微信群之类的？

[Override]

scrapy 是一套解决特定问题的方案，如果你的需求刚好是 scrapy 能解决的，那么 scrapy 就很方便了

[dsg001]

@jackon 球带，能简单说下什么小项目？

[markx]

楼上有人说的好， 二者区别就是 scrapy 是框架， requests 是库。

[crab]

@leavic python 不支持多线程 requests 吗

[ytmsdy]

自己手动实现一下多线程调度还有各种异常的处理就知道为什么要用 scrapy 了，话说当年我也是这么想的，直到接到一个非常 BT 的小项目才开始学习 scrapy

[Allianzcortex]

刚好都用过，，我来说一下⊙﹏⊙b ： requests 是库， scrapy 是框架。 gevent 的 monkey_patch 是支持 requests 的，但每次写的时候都要控制 gevent 连接不是很烦嘛。。所以当然希望能封装一个出来，只要我定义好链接和规则以及一些参数，就能自动爬取多好，于是就有了 scrapy 。 scrapy 基于 twisted 异步， twisted 太扭曲了，没有用过， gevent 是用协程以同步的方式来避免阻塞。目前我知道的是有师兄在友盟，当时他们准备用 scrapy 来抓数据，所以 scrapy 真正用于工业级别的生产还是不少的。当时还准备自己写一个爬虫框架，自己抓取代理，提供 gevent 和多线程什么的： https://github.com/Allianzcortex/Seaeels ，一个 demo 已经完了，但目测要坑。。业余时间已经不是太想做爬虫这方面了

[est]

@jackon 顶。

scrapy 才不是什么工业级的。就一个普通框架而已。

[leavic]

@crab 这种被 io 阻塞的东西，异步协程(本质是单线程，但 io 部分被抽离成多线程并发的效果)要比多线程好得多，多线程要考虑互斥量信号量这些东西，本身又是一个坑。

twisted 内部其实就挺复杂了，就是把这个异步过程简单化了方便我们使用，自己用多线程造轮子吃力不讨好啊。

[brucedone]

@est scrapy 不敢说工业级，不过已经被我拓展成公司级的， docker 打包 + 中间件 + 调度 + 监控，很方便出量。其实 scrapy 还是满容易拓展的。

[xiaket]

scrapy 的 api 好丑...

[brucedone]

楼主要的 demo: https://github.com/BruceDone/scrapy_demo

[mathgl]

@brucedone 工业级是怎么定义的？我觉得能商用就可以算为“工业级”了。

[slysly759]

@brucedone 嘿嘿活捉大鱼 大神~

[liko]

requests + gevent

[newzy]

一群傻逼。。。。鉴定完毕，有空在这儿扯犊子，没时间去提升一下自己的技术！

[jakeyfly]

@gouchaoer 这才是真的会爬虫的