pyspider 的 js 抓取是非阻塞的吗?

This topic created in 3620 days ago, the information mentioned may be changed or developed.

用久了 scrapy 想换个口味,scrapy 配置 js 异步抓取的环境还是比较麻烦的.

看了下 pyspider 的文档,用的是 PhantomJS,看起来是同步?

2 replies • 2016-12-08 21:34:57 +08:00

qsnow6

Dec 8, 2016

binux

Dec 8, 2016

是非阻塞的，但是有槽位 /连接数限制