有人用 Phantomjs casper 做爬虫吗?发现它太慢,如何提高性能?

2015 年 9 月 27 日
 hobbyliu
7124 次点击
所在节点    问与答
10 条回复
tabris17
2015 年 9 月 27 日
换 C/C++的 Httplib
hobbyliu
2015 年 9 月 27 日
@tabris17 我想要他的解析 js 供呢
WildCat
2015 年 9 月 27 日
ajax api 不能直接爬么
hobbyliu
2015 年 9 月 27 日
不是,我想要的东西,都是经过 js 各种规则解析出来的,没有所谓的 ajax api, 所有需要一个 webkit
xiaozi
2015 年 9 月 27 日
设置不加载图片,这样可以节省时间
hobbyliu
2015 年 9 月 27 日
@xiaozi 在哪设置?没找到相关设置呢?
pango
2015 年 9 月 27 日
@hobbyliu
给你看一个 selenium 版本的
driver = webdriver.PhantomJS(executable_path='D:\phatom\phantomjs-1.9.0-windows\phantomjs.exe',desired_capabilities=dcap, service_args=['--load-images=no'])
其他版本应该差不多,就是传一个--load-images 参数
Imivan
2015 年 9 月 27 日
王校长的头像。
FrankFang128
2015 年 9 月 27 日
必然
dingyaguang117
2015 年 9 月 27 日
不加载图片+1

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/223977

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX