ungrown

[ Python 相关 NSFW 注意 ] requests.get 同一个 url,在 ubuntu 和 windows 系统中,返回的 html 差异巨大

  •  
  •   ungrown · Jul 6, 2023 · 1160 views
    This topic created in 1137 days ago, the information mentioned may be changed or developed.

    我不知道原因,可能原因在网站那边,不是所有网站的普遍现象,但是……

    import requests
    url='https://www.pornhub.com/gif/44305571'
    r=requests.get(url)
    len(r.content)
    

    windows 这边得到的 content 长度 36137 字节,保存成 html 查看,778 行。不出所料很多页面元素都缺失,很多 script 内容不在其中。

    ubuntu 那边长度 337322 ,3700 行。html 代码和浏览器 F12 看到的完整页面代码几乎一模一样!

    不理解但大受震撼.jpg

    lsk569937453
        1
    lsk569937453  
       Jul 6, 2023
    1.直接抓包看下最终发送的 http 请求是啥,有可能 header 不一样。
    2.用命令行 curl 测试一下。
    ungrown
        2
    ungrown  
    OP
       Jul 6, 2023
    @lsk569937453 #1 有道理,我回头试试
    ungrown
        3
    ungrown  
    OP
       Jul 6, 2023
    @lsk569937453 #1 不过 header 是一样的,r.request.headers 检查过
    joApioVVx4M4X6Rf
        4
    joApioVVx4M4X6Rf  
       Jul 7, 2023   ❤️ 1
    你把 url 改成 https://httpbin.org/get ,看看返回的是什么。httpbin 能把你的请求原封不动返回,方便 debug
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2783 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 12:32 · PVG 20:32 · LAX 05:32 · JFK 08:32
    ♥ Do have faith in what you're doing.