在请求爬虫的时候 cookie 传入的方式不同 返回的数据不一样

2018-12-07 17:04:33 +08:00
 Ewig

我在请求一些网站的时候 ，cookie 以 str 方式 放入 cookie 里面 还有一种是 header 和 cookie 分开参数传递的 比如这种 headers=headers，cookie=cookie

还有一种是就是把 cookie 直接写到 header 里面

1031 次点击
所在节点    问与答
4 条回复
luosuosile
2018-12-07 17:21:07 +08:00
因为有时候 cookie 会关闭吧
luoleng
2018-12-07 23:36:05 +08:00
scrapy 的 setting 里面有个 COOKIES_ENABLED 的参数
Ewig
2018-12-08 11:00:49 +08:00
@luoleng 我设置为 true 了没用的
Ewig
2018-12-08 11:01:01 +08:00
@luosuosile 我设置 COOKIES_ENABLED=true

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/515428

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX