[阿里爬虫] 如何应对反爬？

[SoulClinic]

最近在做房产拍卖的爬虫，京东的很好爬，很容易就爬到需要的几千条记录（包括图片，附件，自动生成海报），自动生成数据库需要的数据 (node.js + puppeteer)，在小程序显示：

但要爬淘宝的就难多了，时不时要求登陆或者验证（如果请求频繁），也会让你休息，看网上也有很多普通用户抱怨这个 关键是滑滚过去还会失败：

https://sf.taobao.com/item_list.htm

正在摸索，阿里主要是根据 cookie 来判别请求是否过于频繁，网上也说了每个请求最好相隔几秒

更可恶的是，在阿里自己的阿里云服务器根本就请求不到（无论是什么 cookie ），我要本地定时爬然后发到远程服务器~~ 😡

请问该如何道高一尺魔高一丈？🎃

[icy37785]

@2MO #75 不懂法可以闭嘴，别张嘴就来，用梯子翻墙一般都是行政处罚，就是签保证书和罚款完事，罚款也低，爬虫是刑事案件，真判下来基本上就是半年起跳了。
最怕的就是你们这些人，所以总有人被抓的时候都不知道自己怎么就被抓了。

[shaojz2005]

讨论技术问题的，上面很多人说了，淘宝的反爬很难绕过去，要绕过去可能需要花费成本来形成更多的”自然用户行为“。

其他公司的网站有这些信息，你也不知道具体是怎么来的，有可能真的是合作，也有可能爬了，但是对方有法务团队能应对这样的风险。

听你的意思，你是外包帮客户开发小程序来爬资源，找外包的客户会具备强大的法务团队吗？即使有，万一真的被告了，客户会帮你打官司吗？当然一般情况下被告入刑的可能性也没那么大。但你在公开论坛讨论这个东西，留下的痕迹就太多了，真被人注意上也不奇怪的。

[magicyao]

@deplivesb 真的假的，和对面一起测试在测试环境发送不合规数据还会被报警，对面的测试部门是吃翔的吗

[winglight2016]

做爬虫百分百违法，特别是，作为公司行为时。所以，不管这种岗位给多少，我是绝不考虑的，因为以前已经有过判例，程序员作为实现者，也会被判刑——在此之前，的确是可以作为“菜刀”免责。

淘宝这个滑块，我只要访问天猫店就必定出现，提示使用了 VPN——跟本地是否开了 VPN 无关，我猜测办公室网络出口有 VPN 之类的设备。

[wowbaby]

淘宝，天猫我正常访问都难，

[RickyC]

天热，开空调呀。
怕怕虫，加验证码呀。

[RickyC]

@gongquanlin 您说的是 web 端？
淘宝怎么判断是不是正常访问呢？即便登录了也可能是爬虫吧。
还没怎么见过 app 端加验证码的。

[zjddp]

挡人财路如杀人父母，楼上一众老哥请适可而止

[RickyC]

看错了。以为你是反爬虫，没想到你是黑客。
你这个，我想到 3 个解决方案：
方案一：雇人人工爬；如果你是盖茨，花个几千亿美元，雇个几亿人，应该能解决；
方案二：收购京东或阿里巴巴，让他们把数据交给你；
方案三：研究高级 AI 技术，模拟人类动作，破解验证码；

一般来讲，五百年内这个问题是有可能解决的。

[RickyC]

@zjddp 要你这么说，世界岂不和平了？没有战争了？

[zjddp]

@RickyC 劝了快 90 楼了你看 op 有收手的意思吗？还是说我理解错大家的初衷，只是为了给 op 以外看到帖子的人做普法教育？

[JieGaLee]

在这问一问各位，之前的工作中有写爬虫，并且现在爬虫还在公司部署着（但是具体的部署、定时、存储之类的的不是我管，我只负责写 spider 文件），这种情况下我要怎么规避法律风险。

[RickyC]

@JieGaLee 没办法吧

[wensonsmith]

爬虫写得好，牢饭吃到饱

[qsnow6]

没事，去爬嘛

[itechnology]

大家还是别劝了，反正这么多人都劝他，楼主还是认为可以爬，自己不会那么倒霉被抓

[ElegantOfKing]

@Te11UA 必须亚一爬啊

[xqk111]

瑟瑟发抖

[deplivesb]

@magicyao 信不信由你，反正这是我身边发生的我知道的时间最近的，就在今年过年前，我也是过年和同学一块聚知道的

[cyrbuzz]

君子不立于危墙之下。