你们都用什么来做爬虫的

[xdeng]

你们都用什么语言来做爬虫的，有什么好的介绍。。。

[for4]

Python
+requests
+lxml
+celery

[xdeng]

@for4 -.-! 要学这么多东西啊

[for4]

@xdeng
第一个是编程语言
后面三个是可能需要用到的库

这是我认为的写一个爬虫最简单易学的搭配

[xieren58]

Node + jquery

[liuxurong]

我是 requests + pyquery

另外
@for4 celery通常用来做什么

[xdeng]

@xieren58
@liuxurong 这个网站里的全都是 做网页的么

[shinwood]

试过python + Scrapy，感觉不错。

http://scrapy.org/

[greatghoul]

@shinwood 这个用起来的确骚爽。

[colincat]

java

[for4]

@liuxurong
我是把爬虫的各个功能部分分成小任务, 然后按需放入任务队列中. 这样既能有效的降低爬虫的复杂度, 同时用队列也能提高爬虫的稳健度, 比如失败重做.
还有, 使用celery后你的爬虫就变成分布式的了, 可以简单的布置在多台机器上跑

[wingoo]

scrapy

[twm]

JAVA PHP

[dulao5]

PHP + curl_multi_*

不过以后应该尝试nodejs了，并发容易实现，解析页面里的js更有优势。

[xjay]

scrapy
不解释

[PrideChung]

ruby+norogiri
http://nokogiri.org/

[amxku]

Python
+curl
+celery

[1up]

http://www.gregreda.com/2013/03/03/web-scraping-101-with-python/ Web Scraping 101 with Python

[cloverstd]

Python: urllib, urllib2, re

[sobigfish]

前几天 用nodejs写个玩，但不知道怎么部署在只有web服务的 PaaS上－，－
cheerio很好用阿，完全是jQuery的语法。

require('http');require('cheerio');require('iconv').Iconv;require('mongodb');

[chuck911]

还有人写个爬虫还非要用芹菜...

Scrapy爽是因为它基于事件驱动的Twisted，我以前也很爱Scrapy，后来用上Node写爬虫就感觉从重型土炮换到了肩扛火箭筒