网站被拥有强大 ip 代理池的爬虫搞， ua 随机变化，怎么办

[herozzm]

每个 ip 只访问 1-2 页面，没法封锁 ip ，ua 也是随机变化

[herozzm]

@des 因为网站平时没有什么流量，突然来了上千个，非常固定的访问频率 也没有来路

[Borch]

范围时间内访问次数过多直接禁 ip ，关键字搜 iptable 防 ddos

[des]

这样的话确实没啥好办法，家宽封 ip 也不合适

[herozzm]

@Borch 一个 ip 就访问 2 次 就换了，怎么封锁？

[vanton]

@Borch #22
这个只能防那些非常蠢的爬虫。
现在爬虫都是单机只访问几页，iptables 基本没有方案可以防住。

[plmsuper8]

看到怀疑的扔假数据去

[justs0o]

https://s3.bmp.ovh/imgs/2022/02/b46f219f47575811.png

[justs0o]

https://help.aliyun.com/document_detail/159895.html
https://cloud.tencent.com/document/product/627/40156

[herozzm]

@plmsuper8 没法怀疑啊，我能看出是爬虫就是网站没有啥流量，突然来了，固定的频率才看出来是爬虫

[cybird]

@Puteulanus TLS 指纹效果不大，有代理可以完美绕过

[des]

提供个思路，webrtc 检测 ip ，检测通过了才给访问。顺便用 websocket 检测是否有代理

[Borch]

@herozzm 可以统计下重复率，代理池要钱的，数量足够大没那么便宜的，封到它得不偿失

[Borch]

@vanton ip 代理池要钱的，封到对方不想花钱买 ip 爬了

[Juszoe]

只限注册用户访问，同时提高注册成本，比如验证码，或者接入第三方登录，把风控交给大厂来解决。看样子对方下了不少的成本来爬，看来你的数据挺值钱呀

[abc8678]

@DeWjjj 我以前用第三方工具，多线程下载视频。结果后来，网页不能看视频了，video 标签消失，下半部分的分享栏的排版错乱。是这两个网站:哔哩哔哩、YouTube

[des]

另外不要自动封禁，不定时批量封 ip
要让对方觉得你是手工处理的

[herozzm]

@Juszoe 某查查都来爬数据，真是长见识了

[gstqc]

加验证
点几个字或者移动到相应位置

[herozzm]

@gstqc 我还想给搜索引擎的蜘蛛数据呢

[vanton]

@Borch #33

ip 超级便宜，绝对白菜价。
1000 块钱爬你能爬到你怀疑人生。