[阿里爬虫] 如何应对反爬？

[SoulClinic]

最近在做房产拍卖的爬虫，京东的很好爬，很容易就爬到需要的几千条记录（包括图片，附件，自动生成海报），自动生成数据库需要的数据 (node.js + puppeteer)，在小程序显示：

但要爬淘宝的就难多了，时不时要求登陆或者验证（如果请求频繁），也会让你休息，看网上也有很多普通用户抱怨这个 关键是滑滚过去还会失败：

https://sf.taobao.com/item_list.htm

正在摸索，阿里主要是根据 cookie 来判别请求是否过于频繁，网上也说了每个请求最好相隔几秒

更可恶的是，在阿里自己的阿里云服务器根本就请求不到（无论是什么 cookie ），我要本地定时爬然后发到远程服务器~~ 😡

请问该如何道高一尺魔高一丈？🎃

[murmur]

这里有京东的人么，你们的法务部该行动了

[giiiiiithub]

楼主可真刑啊

[cweijan]

对, 不能太频繁, 而且请求后要用新 cookie 替换掉当前 cookie

[registerrr]

很可铐，我看刑

[einq7]

我铐，家人们，太刑了，日子越来越有判头了

[westoy]

V 站京东的程序员呢？ 楼主这样挑衅你们能忍么? 快点去肝反爬

[deplivesb]

楼主离国家饭越来越近了

[SoulClinic]

你们太纯真善良了，这些数据“好像”是公开的啊，已经有类似的 app 了，例如这个: https://www.yfbudong.com/
@cweijan 替换 cookie 我试了确实可行，但是只能人工，请教自动替换怎么整（ puppeteer 有点点被阿里打压了一样）

[YUyu101]

对不知道有没有用无头浏览器爬的

[statement]

看是否追究了 公开的数据爬应该可以 但可以给你安一个 破坏计算机系统罪 而且你爬公开信息 也只能自用 不能对外提供服务吧

[hxd]

我就正常用 Chrome 打开淘宝都时不时出现那个验证。
掏包网太瓷了。

[wunonglin]

@SoulClinic #8 你知道什么是口袋罪么？

[googlefans]

@einq7 hahaha

[SoulClinic]

咱暂时的底牌就是：如果阿里的爬不到，就爬这个海豚网
大部分需要的阿里的数据好像在这个海豚里都有 🤖

[TtTtTtT]

@SoulClinic 马路也是公开的，也不能说躺就躺啊 =。= 公开和数据的归属权本来就是两回事。

[ChicC]

反爬做到牺牲用户体验了

[ospider]

一谈爬虫就开始玩儿梗，要真去逆向板块反倒一群大佬能谈点技术。某些 V 友真是魔怔了，恨不得马上替阿里用口袋罪给抓住。就这个来说，去搜下各种指纹吧，TCP 指纹、TLS 指纹、浏览器指纹，会有些思路的。

[SoulClinic]

@wunonglin 不知道，听起来 Google 好像是罪大恶极了？
用户跟我说的主要目的就是节省用户（主要是律师）的时间 /效率，现在他们要一时搜京东，一时搜阿里，白花了很多时间精力
这就是货真价实，名正言顺的“为人民服务”啊！！

[Jooooooooo]

@SoulClinic 公开数据当然不能随便爬. 搜 爬虫 坐牢 有惊喜.

[winnerczwx]

@SoulClinic #8 绕过反爬已经属于违法行为了, 即使是公开信息... 只要对面公司起诉必被抓