前几天有朋友要做 Google 搜索结果采集,原来用的池子不行了,让我帮他测一下 Bright Data 和 Decodo 这两家的动态住宅。顺手把数据整理出来,给有同样需求的 V 友参考。
/sorry/ 或出现 reCAPTCHA 算验证码| Bright Data | Decodo | |
|---|---|---|
| 成功 | 65 / 100 | 58 / 100 |
| 验证码 | 30 | 42 |
| 连接超时 | 5 | 0 |
| 成功请求耗时(中位数) | 3.8 秒 | 5.1 秒 |
| 成功请求耗时( 90% 在这以内) | 5.6 秒 | 6.2 秒 |
| 100 次总流量 | 158.5 MB | 74.5 MB |
| 平均每拿到 1 次结果的流量(含失败的) | 约 2.4 MB | 约 1.3 MB |
| 一次验证码页耗的流量 | 约 0.8 MB | 约 0.4 MB |
| 搜索结果页 HTML 本身 | 约 274 KB | 约 286 KB |
1. 两家都有三四成会弹验证码,单次成功率差别不大 所以不管用哪家,脚本都得自带“遇到验证码就换 IP 重试”。按这次的成功率算,Bright Data 平均 1.5 次请求拿到一次结果,Decodo 约 1.7 次。
2. 流量大头不是搜索结果本身 结果页的 HTML 只有 280KB 左右,剩下的都是页面里的 JS 和各种异步请求。验证码页也会扣流量,失败的请求不是白嫖的。 按这次的数据,每成功抓 1000 次,Bright Data 约耗 2.4G ,Decodo 约耗 1.3G。Decodo 整体流量偏小,原因我没细查,大家自己测的时候可以留意。
3. 速度上 Bright Data 快一些 成功请求的耗时中位数,Bright Data 3.8 秒,Decodo 5.1 秒。
4. 一个大坑:无头 Chrome 的默认 UA
无头模式的默认 UA 里带着 HeadlessChrome。不改的话,IP 再干净也是 100% 弹验证码,我一开始就栽在这里。一定要换成正常浏览器的 UA 。
Decodo: gate.decodo.com:7000
用户名 user-<你的用户名>-country-us-session-<随机串>-sessionduration-1
Bright Data:brd.superproxy.io:44445
用户名 <你的用户名>-country-us-session-<随机串>
session 每次随机生成,就能做到每次请求换 IP 。
样本只有每家 100 次、一天的数据,只测了美国出口。Google 的风控一直在变,结果仅供参考。
利益相关:我是这两家(还有另外 11 家)的渠道。想用自己的关键词复测,可以找我要测试流量,联系方式在我的主页。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.