V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
颜值和功能齐聚的跨平台SSH工具
Xterminal 是一款强大的开发工具,不止是 SSH 与 Terminal,还集成了 Note、拥有快捷动作、命令提示等特性
Promoted by Moyyyyyyyyyyye
apley
V2EX  ›  问与答

关于 Python 爬虫爬取网站图片

  •  
  •   apley · 2018-06-16 02:35:48 +08:00 · 2056 次点击
    这是一个创建于 2583 天前的主题,其中的信息可能已经有所发展或是发生改变。
    刚刚学习了爬虫,想拿一些图片网站下手,可是发现使用网站上爬取的 URL 下载下来的不是想要的图片,是统一的一张标题图片,任何图片 url 拿出来都下载不了,有个奇怪的就是将 url 放到浏览器中,第一次读取是能加载出图片,刷新后就又是标题图片了?比如一个网站,九妹图片
    4 条回复    2018-06-16 11:40:44 +08:00
    Sylv
        1
    Sylv  
       2018-06-16 02:50:32 +08:00
    http headers 了解一下。
    Sylv
        2
    Sylv  
       2018-06-16 02:56:21 +08:00   ❤️ 1
    "Referer" header 重点了解一下。
    F1024
        3
    F1024  
       2018-06-16 11:09:55 +08:00   ❤️ 1
    opener=urllib.request.build_opener()

    opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36')]

    urllib.request.install_opener(opener)

    urllib.request.urlretrieve()
    apley
        4
    apley  
    OP
       2018-06-16 11:40:44 +08:00
    感谢!感谢!谢谢前辈指点
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   872 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 20:58 · PVG 04:58 · LAX 13:58 · JFK 16:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.