发现一个 scrapy 的奇怪问题

2021-08-05 15:39:46 +08:00
 warcraft1236
在用 scrapy 抓一些网页内容的时候，发现被 403 了，我以为是我爬的频率太高了

但是奇怪的是，同样的请求我放到 postman 里边，就能正常访问

而此时 scrapy 还是会报 403
806 次点击
所在节点    Python
1 条回复
zhijiansha
2021-08-06 07:57:19 +08:00
抓包对比看看两个发出的请求有什么区别

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/793864

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX