V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
xiaoyanbot
V2EX  ›  Python

pyspider 和 scrapy 对比

  •  
  •   xiaoyanbot · 2017-06-29 19:06:10 +08:00 · 7041 次点击
    这是一个创建于 2464 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用过两者的朋友吗? 说说具体咋样

    要做选型

    10 条回复    2017-09-25 14:32:39 +08:00
    jigloo
        1
    jigloo  
       2017-06-29 19:15:33 +08:00 via Android
    现在还有用 pysipder 的吗?
    wolffn
        2
    wolffn  
       2017-06-29 19:18:47 +08:00
    lz 爬虫规模大吗,不大的话,说真心话,上 node 吧
    Yc1992
        3
    Yc1992  
       2017-06-29 19:19:08 +08:00 via Android
    EricCartman
        4
    EricCartman  
       2017-06-29 20:04:09 +08:00 via Android
    @wolffn 不大 Python 更方便吧
    golmic
        5
    golmic  
       2017-06-29 20:15:04 +08:00
    感觉 pyspider 在任务调度方面比 scrapy 做的好一些,但是个人还是喜欢可控的 scrapy.像 pyspider 出错不容易查问题并且一旦进入 pause 状态就 10 分钟不能动这是不能忍的。
    zealinux
        6
    zealinux  
       2017-06-29 20:24:58 +08:00
    @wolffn node 用什么库来爬?
    xrlin
        7
    xrlin  
       2017-06-29 20:36:34 +08:00
    两者都用过,但只是做自己的小项目,都是很好的框架,但比较喜欢 scrapy,目录结构好,做图片等资源采集不错,pyspider 编辑起来不太方便,但任务调度比 scrapy 方便很多,可以很方便进行定时、增量爬取。
    binux
        8
    binux  
       2017-06-29 20:45:47 +08:00   ❤️ 3
    谢邀 :P
    pyspider 本来就是为了解决 scrapy 不好解决的问题设计的。但是作为框架本身的成熟度来说,和 scrapy 比还是有差距的。
    https://stackoverflow.com/questions/27243246/can-scrapy-be-replaced-by-pyspider
    https://www.quora.com/How-does-pyspider-compare-to-scrapy
    bfbd
        9
    bfbd  
       2017-06-29 22:33:28 +08:00   ❤️ 1
    scrapy 好用,调度方面有 scrapyd。

    https://scrapyd.readthedocs.io/en/latest/
    ila
        10
    ila  
       2017-09-25 14:32:39 +08:00
    @bfbd scrapyd 能否暂停和恢复任务?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2714 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 15:43 · PVG 23:43 · LAX 08:43 · JFK 11:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.