求教同样的 url 参数头部 cookies, scrapy 请求返回验证码, requests 直接请求就正常,代码如下

128 天前
 hahahalololo
url='xxxxxxxxxxxxxxx'

yield scrapy.Request(
    url=url,
    cookies=self.cookies,
    headers=self.headers,
    meta={
    'download_timeout': 60  
    },
    callback=self.save,
)

rs = requests.get(url, headers=self.headers, cookies=self.cookies, timeout=60)

这可能是什么原因造成的呢?找了一圈也没发现原因。COOKIES_ENABLED 设置成 True 的

408 次点击
所在节点    HTTP
2 条回复
laihan4396a
128 天前
抓个包,或者设置个代理,看下请求的区别?
hahahalololo
124 天前
@laihan4396a 3q ,抓包后发现是 cookes 的问题,scrapy 框架对 cookies 自动处理了,少了许多

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1006225

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX