网站被拥有强大 ip 代理池的爬虫搞， ua 随机变化，怎么办

[herozzm]

每个 ip 只访问 1-2 页面，没法封锁 ip ，ua 也是随机变化

[seakingii]

@vanton 有没有国外的便宜代理 IP?

[Borch]

@vanton 我去年拿市场上的 ip 代理池服务搞过 ddos 和 ddos 防护测试，只能说封得够快的话，那玩意量大烧钱。

[Borch]

突然想起来之前在 v 站看的这个了：做了一个基于 JavaScript VMP 的滑动验证系统 www.v2ex.com/t/828470

[jiangzm]

vid, uid, ip, waf

[dbow]

经验谈，封上 1000w ip 就好了。

[sodora]

把网站接入微信二维码扫描登录

[opengps]

验证码拦截

[luckykong]

@herozzm 如果确定平时没啥流量，干脆关几天，避避风头喽。。
或者给爬虫喂点“屎”

[fisherman0459]

用字体反爬给爬虫喂点“屎”
参考天眼企查猫眼这些

[DeWjjj]

随机加验证码拦截，每次都不输入就降级。
多次不输入，直接 BAN 了。
要么就服务器生成信息丢给客户机，然后在爬虫访问最多的网页上面+上传信息。
假信息或者快速访问，直接 ban 一天。

[ch2]

@Borch 有隧道代理，一分钟换一个 ip 很简单的

[a132811]

@herozzm 将部分文字转换成图片，文字扭曲变形

话说，你怎么识别出某查查的？这个访问特征不可以作为封禁指标么？

[Brian1900]

字体反爬，验证码反爬，提高爬虫的难度和成本，要是这样对方依旧财大气粗那就无解了

[locoz]

如果你这数据值钱，那就搞成付费可见，否则只要效益高于采集的成本就总会有人解决掉你的反爬措施，对抗本质上只是互相烧钱而已，对你来说并没有啥意义；而如果数据不值钱，甚至可以公开给搜索引擎索引，那你管它干啥呢？

[nonwill]

接入 cloudflare ，让 它们 随便搞

[MoeMoesakura]

@des 要是遇到正常访问者强制禁用 webrtc 怎么办（或者这个爬虫是 headless chrome ，能正常加载 webrtc ？）

[zqx]

禁止无头浏览器访问，关注微信公众号给一个密码，输入密码解锁。

[nbjbsjb]

@locoz 握爪，说了我想说的

[ZE3kr]

hCaptcha https://www.hcaptcha.com

[acbot]

1. 在网络层面： 国外，国内运营商 IDC ，国内各个云的 IP 段全封，只保留家宽段和手机段，如果在保留的这些段中发现了直接将该 IP 按市或者省大段封，或者市把这些跳转到随机验证页面。
2. 网站本身：应该考虑随机验证手段。