curl 抓取问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4072 天前的主题，其中的信息可能已经有所发展或是发生改变。

curl可以抓取用了js延迟加载的页面全部内容么

5 条回复 • 2014-09-06 23:09:47 +08:00

lizhijun

2014-09-06 20:41:43 +08:00

不行。
用python+scrapy吧。

Nintendov

2014-09-06 20:57:01 +08:00

@lizhijun 没接触过这个啊，它也可以模拟用户操作么

ultimate010

2014-09-06 21:04:32 +08:00

splinter完全调用浏览器，scrapy也不能执行js吧。
建议python + request +lxml，相当方便。

Nintendov

2014-09-06 21:15:08 +08:00

@ultimate010 又一个没接触过的，我去查资料学习TAT

RemRain

2014-09-06 23:09:47 +08:00 via iPhone

上 phantomjs，WebKit 内核，完美执行 js