网站被拥有强大 ip 代理池的爬虫搞， ua 随机变化，怎么办

[herozzm]

每个 ip 只访问 1-2 页面，没法封锁 ip ，ua 也是随机变化

[Puteulanus]

看看 tls 指纹？

[herozzm]

@Puteulanus 能否再详细？

[ch2]

只访问一个页面没办法，人肉用这种办法也能把你的网站搬空
爬虫本质上是无法阻止，只要你把信息放出去了迟早会被别人全拿走

[herozzm]

@ch2 看来信息没法公开了

[DeWjjj]

@herozzm
普通用户降权看不到全部文字。

[herozzm]

@DeWjjj 爬虫注册用户加上 cookie 也一样

[Darkside]

@herozzm #2

英文关键词叫 tls fingerprint ，这个网站 https://tlsfingerprint.io/ 提供了比较详细的介绍。

简单来说，不同的 TLS implementation （浏览器 / 各种语言的 HTTP 库）在建立 TLS 连接的时候发送的信息（支持的密码学套件 / 签名算法之类的）不一样。如果对面使用了某些流行的 HTTP 库，并且没有试图模仿浏览器的行为的话，你可以利用 tls fingerprint 把它和正常的浏览器区分开来。

比如目前 Chrome 的 tls fingerprint 是 e47eae8f8c4887b6 ，可以在这里查看详细信息 https://tlsfingerprint.io/id/e47eae8f8c4887b6

[herozzm]

@Darkside 谢谢

[gstqc]

加 cookie ，cookie 需要 js 来运算
这样爬虫需要 js 引擎才能正常访问

或者接入 cloudflare 算了

[justs0o]

如果代理 IP 很多，除了商业方案，基本无解

[herozzm]

@gstqc 这类爬虫就是用模拟浏览器发起访问的，支持 js 预算

[gstqc]

@herozzm 是模拟还是真实的浏览器？
还是接入 cloudflare 吧

[justs0o]

@gstqc cloudflare 是 WAF ，这个需要 BOT WAF

[herozzm]

@gstqc 无头 chrome ，headless chrome

[herozzm]

@gstqc cloudflare 实际上在国内访问有抽风问题，不敢用

[justs0o]

@herozzm 直接上阿里的 WAF 吧，按量付费

[des]

限制只允许家宽访问？

[herozzm]

@des 他们的爬虫就是家宽 ip ，估计是很多家庭肉鸡

[justs0o]

@des 现在的代理 IP 都是家宽

[des]

这，所以你是怎么看出来是爬虫？