求助, Python 爬虫中 chrome 启用 headless 设置后运行速度变得很慢

2018-12-04 12:00:49 +08:00
 bruce00

同样的环境和 options 代码设置,家里电脑就能很快运行

在性能差不多的单位的电脑上,没启用 headless 时 chrome 秒开,启用之后就半天没反应。。。

会是什么原因呢?有遇到过类似情况的大佬吗

代码如下:

from selenium.webdriver.chrome.options import Options

def getpage(url):
    
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    driver = webdriver.Chrome(options=chrome_options)
    driver.get(url)
2700 次点击
所在节点    问与答
3 条回复
binux
2018-12-04 12:20:33 +08:00
我猜一个,页面上有慢资源一直在加载,有 UI 的时候你看到以为加载完了,但是实际上还在等待 Page load
zpfhbyx
2018-12-04 12:22:09 +08:00
把图片渲染关了,应该会快点,但还是比 requests 慢!
bruce00
2018-12-04 12:46:30 +08:00
@binux 应该不是,没启用 headless 的时候很快就抓取到页面资源并退出 chrome,开始下一步了,感觉是这块代码或者浏览器的原因

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/514156

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX