Python 爬虫求助。。。

2017-07-11 10:14:04 +08:00
 jiangguoqing

新手想问下 ajax header 是个什么东西呢,我做了一个练习时候他说需要把相同的 http header 放到爬虫里面,但我已经把相同的 http header 放进去了,还是拿不到数据。问题就是找到了数据的链接如何去把 ajax header 放到爬虫然后得到返回的数据呢?

2027 次点击
所在节点    程序员
3 条回复
q409195961
2017-07-11 10:22:03 +08:00
conn.request(method="GET", url=newThreadUrl, headers=headers)
q409195961
2017-07-11 10:23:03 +08:00
headers 用字典放 header 键值
yykrlc
2017-07-11 15:39:35 +08:00
浏览器 F12 去找找,先分析分析,ajax 的 header 和普通请求的没啥区别,但是 url 要对啊,

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/374433

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX