真实 TLS/HTTP 指纹采集工具:应对爬虫对抗,突破 JA3/JA4 防护,支持跨域访问

2 天前
 aino

真实 TLS/HTTP 指纹采集工具:应对爬虫对抗,突破 JA3/JA4 防护

现在爬虫对抗越来越严,用 JA3 、JA4 指纹做防护的站点越来越多。虽然市面上有不少伪造 JA3 指纹的框架,但随机伪造很容易被识别,所以采集真实指纹就成了反爬对抗的关键需求。

下面是基于开源项目改造的指纹采集站点和接口,支持跨域访问,方便获取真实指纹数据:

一、核心功能:能采集哪些信息?

访问主站点 https://tls.123408.xyz ,可直接获取当前设备的完整指纹和请求详情,包括:

二、使用方式:站点+接口

  1. 直接查指纹:打开 https://tls.123408.xyz ,页面会实时显示当前设备的所有指纹和请求信息,适合单设备快速采集。
  2. 批量获取接口:调用 https://tls.123408.xyz/api/all ,支持批量采集(注:若出现“系统内部异常,请稍后重试”,可检查网络后重新请求)。
  3. 跨域支持:接口已配置跨域,不用额外处理,直接集成到项目里就能用。

三、优势

708 次点击
所在节点    分享创造
8 条回复
chennqqi
2 天前
aino
2 天前
@chennqqi #1 我重新部署上去后,把跨域限制移除了,方便第三方站点采集
montaro2017
1 天前
有没有方法直接判断出是真实的还是伪造的指纹
aino
1 天前
@montaro2017 #3 需要收集指纹,然后去根据恶意请求去 ban 掉
montaro2017
1 天前
@montaro2017 #3 使用的话,不是得浏览器去调用吗,如果对方不是通过浏览器打开的,而是通过 http 直接请求的,不就没用了吗
aino
1 天前
@montaro2017 #5 如果别人直接用 http 之类的工具去请求你站点用 ja3 指纹就很容易定位到
Rehtt
1 天前
如果是利用类似 selenium 的这种浏览器爬虫呢
aino
1 天前
@Rehtt #7 这就需要用到设备指纹了,现在主流方案是 TLS 指纹+设备指纹去做反爬虫

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1169183

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX