V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
changwei
V2EX  ›  问与答

捞月狗和 max+等游戏数据分析平台是怎么抓取的数据?

  •  
  •   changwei · 2016-11-25 20:03:16 +08:00 · 4340 次点击
    这是一个创建于 2721 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我自己写了一个爬虫准备抓取英雄联盟每个大区前两百名最强王者的战绩数据做数据分析,我通过抓包找到了查战绩和获取最强王者 id 的接口(要带上 cookie ),但是我的爬虫开 60 个线程请求这些爬虫还不到五分钟就被封了,封的是 QQ 号,不是 IP ,因为我试过用别的小号仍然可以查。这还不是关键,关键是我发现我连我自己战绩都查不了了(当初忘记换小号的 cookie 做测试了)。

    现在请求那几个接口返回的都是如下数据

    C:\Python27\python.exe D:/request.py
    <html>
    <head><title>501 Not Implemented</title></head>
    <body bgcolor="white">
    <center><h1>501 Not Implemented</h1></center>
    <hr><center>nginx/1.4.4</center>
    </body>
    </html>
    
    
    Process finished with exit code 0
    

    我现在很好奇捞月狗和 max+这类数据分析 app 是怎么抓取的这么多战绩数据?难不成他们有很多 QQ 小号,或者他们直接找腾讯买的数据?

    另外问个额外问题,就是捞月狗和 max+的盈利模式是什么啊?

    4 条回复    2017-02-16 21:16:27 +08:00
    ylsc633
        1
    ylsc633  
       2016-11-25 20:29:23 +08:00
    这条 自己去 知乎上看
    捞月狗的 站主 说过这个!
    https://www.zhihu.com/people/pi-zi-lang-81/answers
    changwei
        2
    changwei  
    OP
       2016-11-25 21:10:38 +08:00
    @ylsc633 我看了,就四条回答记录,没说过啊
    ylsc633
        3
    ylsc633  
       2016-11-25 21:21:34 +08:00
    可能删了....
    wjm2038
        4
    wjm2038  
       2017-02-16 21:16:27 +08:00 via Android
    想知道接口是什么。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1090 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 19:51 · PVG 03:51 · LAX 12:51 · JFK 15:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.