用了 scrapy 是否还需要用 beautifulsoup？

[zeal7s]

我作为新手刚学习scrapy，发现坑还挺多的。其中最主要的就是解析dom，我感觉用scrapy获取想要的元素特别麻烦特性counter-intuitive，没有beautifulsoup方便。但是感觉已经用了scrapy再在代码中import beautifulsoup很不优雅。不晓得各位有没有类似的问题？

用requests＋beautifulsoup已经能够解决问题了，为什么还需要用scrapy呢？

[simapple]

简单的做urllib+re就可以，scrapy是一套框架，如果是工程项目，要考虑的深度 广度 并发控制 作业调度 等等

[limbo0]

感觉xpath特别方便,是lz没找对方法把

[raptor]

如果你的需求用requests+beautifulsoup就可以解决，那就这样做好了，最多加上gevent。

scrapy的强大在于配套功能非常多

[crazycookie]

为啥不用xpath?

[professorz]

@simapple 能说说这些名词的具体实现吗？

@raptor 能讲讲scrapy都有啥好用的配套功能吗？
谢谢

[yetone]

pyquery 秒一切

[crazyxin1988]

赶脚requests+beautifulsoup 就蛮好的

[fumer]

不需要用beautifulsoup

[rhythmer]

@limbo0 感觉xpath对于标准的html网页的处理还可以，但对于很奇怪的html网页我还不知道怎么抓取数据。最近打算从花瓣去抓图片，huaban.com/favorite/home，用scrapy的xpath就觉得很麻烦

[limbo0]

@rhythmer 图片的地址是javascript生成的xpath根本抓不了,正则或许是个好的选择

[nayihz]

@rhythmer 抓图片用ImagePipeline，把src的值抓下来，转到这个地址上应该就可以了吧

[zeal7s]

@limbo0 确实没有学过xpath

[zeal7s]

@rhythmer 同感，xpath从功能和易用性上来说肯定不如beautifulsoup

[raptor]

@professorz 官方文档说了很多啊，举例而言就有：它自带一个WEB管理界面，支持TELNET登录管理，有交互式SHELL可以调试对抓取内容的解析，内置多种中间件可处理SESSION，COOKIE，HTTP压缩，身份验证……

[raptor]

顺便问一句，beatifulsoup真有这么好？我怎么觉得还是pyquery用起来更简单。

[kingname]

xpath秒杀bs4，beaitifulsoup4还是感觉不好用。