V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
xiaoyu9527
V2EX  ›  Python

scrapy 爬虫小问题 目标站限制速度怎么办?

  •  
  •   xiaoyu9527 · 2017-05-22 08:13:46 +08:00 · 3383 次点击
    这是一个创建于 2503 天前的主题,其中的信息可能已经有所发展或是发生改变。

    scrapy 爬虫小问题 目标站限制速度怎么办?

    最高只能跑到 5M 左右。

    15 条回复    2017-05-28 18:24:04 +08:00
    mazyi
        1
    mazyi  
       2017-05-22 08:22:25 +08:00 via iPhone
    多 IP
    xiaoyu9527
        2
    xiaoyu9527  
    OP
       2017-05-22 08:39:42 +08:00
    @mazyi 他那个代理 IP 的模式就是多 IP 采集么?

    是给每个线程配一个 iP 么?
    mazyi
        3
    mazyi  
       2017-05-22 09:19:06 +08:00 via iPhone
    @xiaoyu9527 至于多 IP 怎么做就看需要了
    BiggerLonger
        4
    BiggerLonger  
       2017-05-22 09:57:55 +08:00
    scrapy 有限制速度選項
    justfun
        5
    justfun  
       2017-05-22 09:58:57 +08:00
    分布式
    jiezhi
        6
    jiezhi  
       2017-05-22 10:01:35 +08:00
    爬人家东西也不要把人家资源全部占用掉呀
    PythoneerDev6
        7
    PythoneerDev6  
       2017-05-22 10:32:38 +08:00
    多 IP 分布式。 其次 Scrapy 提供了每个线程的时间控制。
    QQ2171775959
        8
    QQ2171775959  
       2017-05-22 11:02:59 +08:00
    你把人家的网站资源占满了的话,人家没有封你就算不错了。
    Xrong
        9
    Xrong  
       2017-05-22 11:48:13 +08:00
    人家带宽就那么大,能怎么办?爬慢点。。。
    af463419014
        10
    af463419014  
       2017-05-22 11:55:49 +08:00
    你把人家带宽全占了,搞得人家还以为网站被攻击了呢
    whileFalse
        11
    whileFalse  
       2017-05-22 11:56:55 +08:00
    没准人家出口带宽就只有 5M。
    ytmsdy
        12
    ytmsdy  
       2017-05-22 11:57:37 +08:00 via iPhone
    爬慢一点!爬虫其实是个寄生虫,宿主死了,寄生虫就死了!
    yuansmin
        13
    yuansmin  
       2017-05-22 12:54:21 +08:00   ❤️ 1
    IP 代理池。不过还是建议不要太快了,拿人家东西就不要给人造成太大负担,做个有公德的 spider
    killerv
        14
    killerv  
       2017-05-22 12:55:18 +08:00
    做个不让人讨厌的 spider
    dd99iii
        15
    dd99iii  
       2017-05-28 18:24:04 +08:00 via iPhone
    别人限速大概还是有原因的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5418 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 07:37 · PVG 15:37 · LAX 00:37 · JFK 03:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.