有人用 Phantomjs casper 做爬虫吗？发现它太慢，如何提高性能？

2015-09-27 09:42:23 +08:00
 hobbyliu
6732 次点击
所在节点    问与答
10 条回复
tabris17
2015-09-27 09:46:30 +08:00
换 C/C++的 Httplib
hobbyliu
2015-09-27 09:54:30 +08:00
@tabris17 我想要他的解析 js 供呢
WildCat
2015-09-27 09:58:27 +08:00
ajax api 不能直接爬么
hobbyliu
2015-09-27 10:03:23 +08:00
不是，我想要的东西，都是经过 js 各种规则解析出来的，没有所谓的 ajax api, 所有需要一个 webkit
xiaozi
2015-09-27 10:08:42 +08:00
设置不加载图片，这样可以节省时间
hobbyliu
2015-09-27 10:10:34 +08:00
@xiaozi 在哪设置？没找到相关设置呢？
pango
2015-09-27 12:23:38 +08:00
@hobbyliu
给你看一个 selenium 版本的
driver = webdriver.PhantomJS(executable_path='D:\phatom\phantomjs-1.9.0-windows\phantomjs.exe',desired_capabilities=dcap, service_args=['--load-images=no'])
其他版本应该差不多，就是传一个--load-images 参数
Imivan
2015-09-27 14:02:45 +08:00
王校长的头像。
FrankFang128
2015-09-27 15:47:43 +08:00
必然
dingyaguang117
2015-09-27 16:40:00 +08:00
不加载图片+1

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/223977

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX