网站是如何识别像 Puppeteer 这样采用 chrome headless 模式的 node js 爬虫的？

2018-04-19 20:53:31 +08:00
 nujabse

最近想用 Puppeteer 爬取 这个网站 的数据，发现爬取几个数据之后就很快被识别为机器人，弹出 recaptcha 的验证，已设置 UA 和 Cookie，模拟浏览器人工操作还是被封禁。这个网站是如何识别检测 puppeteer 爬虫的？

5868 次点击
所在节点    Node.js
5 条回复
gzlock
2018-04-19 21:24:58 +08:00
瓶颈在 ip，上代理池
miyuki
2018-04-19 21:35:24 +08:00
可能是 IP 频率？
soli
2018-04-20 05:33:07 +08:00
道高一尺，魔高一丈。

复杂一点的，可以分析用户鼠标、键盘等动作。
yamedie
2018-04-20 07:14:36 +08:00
操作频率太快了，设置点间隔
Sparetire
2018-04-20 13:58:32 +08:00
蛮多的, 具体可以参考这两个
https://juejin.im/post/5a22af716fb9a045132a825c
https://cnodejs.org/topic/59c3352ee7d9a031127eadac
不过有些可能过时了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/448252

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX