Pydoll,取代 Selenium,一个无驱动异步网页自动化库

220 天前
 Abnl

有人了解这个很新鲜的 python 网页自动化库吗,看介绍很高效、很牛逼的样子。

之前尝试用 Selenium 写过一个自动预约健身房的小项目,结果一直过不了网页的反爬机制,打开网页一片空白... 不知道用这个能不能轻松搞成。

https://github.com/thalissonvs/pydoll

https://www.xugj520.cn/archives/pydoll-webdriver.html

3456 次点击
所在节点    Python
15 条回复
tomczhen
220 天前
一般自动化库是不会处理反爬的。可以考虑配合支持 api 的指纹浏览器或者类似 patchright 这种专门 patch 了反爬的库。
GaGim
220 天前
已经很久不用 selenium 了,还要适配浏览器驱动,略麻烦
13240284671
220 天前
@GaGim 现在用什么,Cloudflare 的验证码的一直过不了
JimLee0921
220 天前
dp 不是挺好用的么
seu
220 天前
看了一下是基于 cdp 协议的,为什么不用 puppeteer 和 playwright ?没看出来哪里牛逼的样子...
yh7gdiaYW
220 天前
放 5 年前也许能和 puppeteer/playwright 抢下生态位,2025 年出个这玩意儿简直是穿越了
Tink
220 天前
drissionpage 应该比这个靠谱点吧
Bingchunmoli
220 天前
我平时写爬虫还是只会用 selenium 缝缝补补,有什么 生态推荐吗
zeusho871
220 天前
@13240284671 Drissonpage 直接秒了
jpyl0423
219 天前
playwright 有些网站过不了 Cloudflare ,Drissonpage 可以,不过无头模式也过不了
yaleyu
219 天前
@jpyl0423 #10 Drissionpage 无头模式能过 cloudflare ,UA 设置成一模一样的版本

co = ChromiumOptions()
co.headless(True).set_argument('--no-sandbox')
page = ChromiumPage(co)
ua = page.user_agent.replace('Headless', '')
page.quit()
co.set_user_agent(ua)
page = ChromiumPage(co)
z740713651
218 天前
selenium 现在好像不需要手动配置驱动了,会自动下载,不用指明 driver 地址。
GaGim
215 天前
@13240284671 dp 呀
13240284671
215 天前
@GaGim dp 我发现也要手动点一下才行,有解决方案吗
GaGim
215 天前
@z740713651 前段时间看到了,但还是更喜欢用 dp

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1118100

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX