爬虫，通用型，独立型

[whatisnew]

大家在写爬虫的时候是写成通用型，还是独立型呢？

比如，通用型：一套规则对应一个爬虫
比如，独立型：一个规则对应一个爬虫

比如，要爬100〜10000个不等的网站，用哪种方案比较合适呢？

之所以，这么问，是因为不管是通用型还是独立型，每一个抓取规则都要人肉分析 dom 结构的，如果每一个都要人肉分析的话，那么通用和独立的区别就只有程序结构和代码维护方面的区别了。

[est]

爬虫专家 @binux 他是pyspider作者。

人肉分析DOM结构已经过时了。现代的方式是直接pick DOM元素自动生产xpath或者css selector或者正则或者whatever。

[webflier]

@est 直接pick DOM元素自动生产xpath或者css selector或者正则或者whatever
这是有什么现成工具吗？求指导

[sohoer]

看我的

[binux]

http://blog.binux.me/2014/07/how-to-extract-data-from-web/

[whatisnew]

再问：

请求头，是伪装成 baidu 呢？还是伪装成 ie8 呢，还是伪装成 chrome 呢。

header 头里的：
Accept：
Accept-Encoding：

之类的如何写可以提高抓取成功率呢？（目前发现有一些会对 Googlebot 和 Baiduspider 和 正常浏览器提供不同的内容，然后 dom 规则就失效了！x... ）

[Owenjia]

@est 遇到过一个超复杂超乱的页面，最后实在没办法就去掉所有标签直接 split 了……

[thedarkside]

不明觉历~~

[est]

@Owenjia 是啊。。有的时候只能简单粗暴。。