拉勾网最近换反爬了?

2019-01-23 15:51:30 +08:00
 Ewig
之前写的拉钩网,我今天试了一下出现下面这个

{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"117.93.157.209","state":2402}

{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"60.30.54.82","state":2402}

{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"117.93.157.209","state":2402}
网址: https://www.lagou.com/gongsi/0-1-0-0

后来我把 cookie 换了 还是这样 这是为啥呢,ip 是动态代理? 求人指教
from ip_pool import get_ip
import requests
headers={"Cookie":'_ga=GA1.2.174518896.1523111183; user_trace_token=20180407222623-a5c90692-3a6f-11e8-b740-5254005c3644; LGUID=20180407222623-a5c90b3f-3a6f-11e8-b740-5254005c3644; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%22167a6ed15993d2-015970814fc80b-35667607-2073600-167a6ed159a938%22%2C%22%24device_id%22%3A%22167a6ed15993d2-015970814fc80b-35667607-2073600-167a6ed159a938%22%7D; index_location_city=%E5%8C%97%E4%BA%AC; JSESSIONID=ABAAABAAAGFABEF2514709505FB85F0FC824310BC7C43F2; _gid=GA1.2.1492847185.1548121054; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1546789367; TG-TRACK-CODE=index_search; SEARCH_ID=8cc1b952a94a496892284ac7a525daea; _gat=1; LGSID=20190123153732-bedacc90-1ee1-11e9-9486-525400f775ce; PRE_UTM=; PRE_HOST=; PRE_SITE=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2Fgongsi%2F0-1-0-0; LG_LOGIN_USER_ID=d809bbbe54ac48bf0a9ce5888befc8dbdd72485efb1d041a; _putrc=528CDA7A1053B994; login=true; unick=%E5%B2%B3%E5%BA%B7; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; hasDeliver=138; gate_login_token=b729a3ea436639fccaac9cdae984ae92c4562ed3d14bb148; LGRID=20190123153826-ded128bf-1ee1-11e9-b748-5254005c3644; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1548229075',"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36","Referer": "https://www.lagou.com/gongsi/0-1-0-0",}

form_data={'first': 'false', 'pn': '3', 'sortField': '0', 'havemark': '0'}

res = requests.get('https://www.lagou.com/gongsi/0-1-0-0.json', headers=headers,data=form_data,proxies=get_ip())
print(res.text)
5427 次点击
所在节点    Python
26 条回复
Ewig
2019-01-25 13:58:38 +08:00
@fakefish 你解决了吗
fakefish
2019-01-25 16:56:15 +08:00
@Ewig 并没有, 但是只要 cookie,header 一样, 就没问题,但是问题是他的 cookie 是动态设置的, 包括 search_id 用的也和第一次 response 里 set-cookie 的值不一样
c4f36e5766583218
2019-01-26 13:06:21 +08:00
@Ewig 把 ip_pool 资料 /官网贴一下
Ewig
2019-01-26 18:08:47 +08:00
@c4f36e5766583218 就是一个动态代理啊,我花钱买的啊,这个就不停的换 ip 的一个 module 啊,和这个没关系吧
Ewig
2019-01-28 09:10:25 +08:00
没有高手解决吗
my1103
2019-04-29 17:23:28 +08:00
因为你访问的根不是真正的 url,真正的用 AJAX 提交的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/529842

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX