关于 Python 爬虫爬取网站图片

2018-06-16 02:35:48 +08:00
 apley
刚刚学习了爬虫，想拿一些图片网站下手，可是发现使用网站上爬取的 URL 下载下来的不是想要的图片，是统一的一张标题图片，任何图片 url 拿出来都下载不了，有个奇怪的就是将 url 放到浏览器中，第一次读取是能加载出图片，刷新后就又是标题图片了？比如一个网站，九妹图片
1675 次点击
所在节点    问与答
4 条回复
Sylv
2018-06-16 02:50:32 +08:00
http headers 了解一下。
Sylv
2018-06-16 02:56:21 +08:00
"Referer" header 重点了解一下。
F1024
2018-06-16 11:09:55 +08:00
opener=urllib.request.build_opener()

opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36')]

urllib.request.install_opener(opener)

urllib.request.urlretrieve()
apley
2018-06-16 11:40:44 +08:00
感谢！感谢！谢谢前辈指点

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/463522

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX