[阿里爬虫] 如何应对反爬？

[SoulClinic]

最近在做房产拍卖的爬虫，京东的很好爬，很容易就爬到需要的几千条记录（包括图片，附件，自动生成海报），自动生成数据库需要的数据 (node.js + puppeteer)，在小程序显示：

但要爬淘宝的就难多了，时不时要求登陆或者验证（如果请求频繁），也会让你休息，看网上也有很多普通用户抱怨这个 关键是滑滚过去还会失败：

https://sf.taobao.com/item_list.htm

正在摸索，阿里主要是根据 cookie 来判别请求是否过于频繁，网上也说了每个请求最好相隔几秒

更可恶的是，在阿里自己的阿里云服务器根本就请求不到（无论是什么 cookie ），我要本地定时爬然后发到远程服务器~~ 😡

请问该如何道高一尺魔高一丈？🎃

[SoulClinic]

@icy37785 @2MO
有话好好说不要太过认真啊，虽然大多回复的是意料之外的有关法律的，但也是好言相劝忠言逆耳哈。
如果能顺带一些技术分享那当然就更好了 😊

[2MO]

@SoulClinic 见人说人话，见鬼就学鬼话咯。另外一个哥们回我帖我也是好声好气的。但看到他的，我脾气就不待见这些自以为是的人，拉黑还要跟对方说拉黑了，简直无语她妈夸无语——好无语，搞的好像我在意他拉黑一样。这么遵纪守法的人都不知道他们翻墙来干嘛的。不好好交流技术回答问题只会阴阳怪气『教别人做人』，先把自己舌头捋直再说吧。

[lizhenda]

有意思

[hejw19970413]

我劝你改一下你的文字，一定要遵守爬虫协议，以及人家网站的信息不要用于商用，否则会收到律师函的~

[hejw19970413]

@SoulClinic 个人用是可以的，只要是在公司就不行，贩卖也不行。不是危言耸听，是真的。

[ww940521]

爬虫这种技术不学也罢，通过损害他人利益牟利于情于理于法都不容。

[ffw5b7]

最近想做一个社区买菜比价，使用于学习。
也在看爬虫的法律问题。
现在有一个案例 电商比价应用:购物党
它的数据来源应该是爬虫的，为什么还存在。
有诱有过诉讼:http://lawyers.66law.cn/s2106025344063_i210080.aspx


更多的案例和涉及到的法律法规:
https://github.com/HiddenStrawberry/Crawler_Illegal_Cases_In_China

[SoulClinic]

@ww940521 就是因为经常看到爬虫相关的文章，觉得自己好像一点都不懂就有点过时了一样。。。
咱们爬到主要是为人民服务，会有标签“京东”or“阿里”表面出处的
前面提了，看到已经有这类公开的 app （海豚选房法拍版），所以才以为这是“理所当然”的公开信息，想开发一个海豚的加强版

[qq1340691923]

你还是人吗

[qq1340691923]

我给京东发邮件了

[golden0125]

笑死，一群翻墙出来的居然大言不惭开始动之以情晓之以理讲法律了，还玩起 “这很刑 那很刑” 的梗，你们先把用什么软件翻墙出来的，有没有经过有关部门审批，除了这个论坛还去过哪些网站，说过哪些话都交代清楚吧，我看你们才是太刑了

[WWwwMMmmMMmmWWww]

爬虫真的有罪 企查查和天眼查应该早就关闭了。

[wildplant]

楼主的“咱”=“我”，这是哪个地方的方言？

[SoulClinic]

@wildplant 心中无我，请忘了“我”吧

[colinlp]

造枪是技术，种罂粟是技术，造纸币是技术，技术本来就存在各个角落，你能看得到的东西都有科学原理技术支持，既想犯罪又想拿技术当挡箭牌，这么别扭你觉得你能搜到正确的东西吗？你想犯罪就直接搜怎么犯罪，不用搜怎么学技术。

[SoulClinic]

@colinlp 这是搜索整理一下数据让用户更方便搜寻，没有涉及什么利益或者过量请求让对方服务器负担啊
按照你的看法，谷歌早就犯罪得下十八层地狱了吧？

[mmg114514]

我的话会用 selenium 尽量仿真人操作 自动换 cookie 也可以用其他库实现

[SoulClinic]

@mmg114514 这里用的 puppeteer 不更强吗？