V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
sjmcefc2
V2EX  ›  Python

请教如何爬取油管的评论?

  •  
  •   sjmcefc2 · 2018-12-13 20:51:14 +08:00 · 5938 次点击
    这是一个创建于 1931 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想爬取油管的评论,有没有现成的工具?

    15 条回复    2018-12-20 22:21:24 +08:00
    iappled
        1
    iappled  
       2018-12-13 20:51:58 +08:00
    没有 api 吗
    sjmcefc2
        2
    sjmcefc2  
    OP
       2018-12-13 20:59:05 +08:00   ❤️ 1
    不懂哈,第一次弄这个
    crab
        3
    crab  
       2018-12-13 21:01:12 +08:00
    这个很简单,抓包下就能看到请求链接了。
    ioven
        4
    ioven  
       2018-12-13 21:03:07 +08:00
    https://developers.google.com/youtube/v3/docs/comments/list

    api 接口,很容易搞,就是限制较多
    Trim21
        5
    Trim21  
       2018-12-13 21:03:17 +08:00 via Android
    YouTube 有 api 的
    westoy
        6
    westoy  
       2018-12-13 21:09:06 +08:00
    就算搞定采集程序, 没采集几页就遭遇 reCAPTCHA 了, 挂代理池大部分撞 reCAPTCHA......
    sjmcefc2
        7
    sjmcefc2  
    OP
       2018-12-13 21:15:30 +08:00
    @westoy 那如何实现大量采集呢
    ech0x
        8
    ech0x  
       2018-12-13 21:25:07 +08:00
    @sjmcefc2 大量采集,基本不可能,装 reCAPTCHA 还算好的,如果给你返回假数据更难搞。
    sjmcefc2
        9
    sjmcefc2  
    OP
       2018-12-13 21:45:19 +08:00
    @ech0x 感觉很多评论信息量很大啊
    onedayoneapple
        10
    onedayoneapple  
       2018-12-13 22:14:23 +08:00 via iPhone
    @sjmcefc2 比如说?采集评论有啥用
    aa514758835
        12
    aa514758835  
       2018-12-14 09:22:31 +08:00
    @dfadf55 妈耶,这个评论图片还需要打开才能看
    no1xsyzy
        13
    no1xsyzy  
       2018-12-14 10:24:39 +08:00
    @aa514758835 妈耶,这个图片分明是 #8 的头像……大概是 @dfadf55 把图片拖进评论框了……
    bighead22
        14
    bighead22  
       2018-12-16 20:00:17 +08:00
    selenium
    sjmcefc2
        15
    sjmcefc2  
    OP
       2018-12-20 22:21:24 +08:00
    @bighead22 感谢。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3235 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 12:10 · PVG 20:10 · LAX 05:10 · JFK 08:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.