首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

pyspider 和 scrapy 对比

  •  
  •   xiaoyanbot · 2017-06-29 19:06:10 +08:00 · 5030 次点击
    这是一个创建于 845 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用过两者的朋友吗? 说说具体咋样

    要做选型

    10 回复  |  直到 2017-09-25 14:32:39 +08:00
        1
    jigloo   2017-06-29 19:15:33 +08:00 via Android
    现在还有用 pysipder 的吗?
        2
    wolffn   2017-06-29 19:18:47 +08:00
    lz 爬虫规模大吗,不大的话,说真心话,上 node 吧
        3
    Yc1992   2017-06-29 19:19:08 +08:00 via Android
        4
    EricCartman   2017-06-29 20:04:09 +08:00 via Android
    @wolffn 不大 Python 更方便吧
        5
    golmic   2017-06-29 20:15:04 +08:00
    感觉 pyspider 在任务调度方面比 scrapy 做的好一些,但是个人还是喜欢可控的 scrapy.像 pyspider 出错不容易查问题并且一旦进入 pause 状态就 10 分钟不能动这是不能忍的。
        6
    zealinux   2017-06-29 20:24:58 +08:00
    @wolffn node 用什么库来爬?
        7
    xrlin   2017-06-29 20:36:34 +08:00
    两者都用过,但只是做自己的小项目,都是很好的框架,但比较喜欢 scrapy,目录结构好,做图片等资源采集不错,pyspider 编辑起来不太方便,但任务调度比 scrapy 方便很多,可以很方便进行定时、增量爬取。
        8
    binux   2017-06-29 20:45:47 +08:00   ♥ 3
    谢邀 :P
    pyspider 本来就是为了解决 scrapy 不好解决的问题设计的。但是作为框架本身的成熟度来说,和 scrapy 比还是有差距的。
    https://stackoverflow.com/questions/27243246/can-scrapy-be-replaced-by-pyspider
    https://www.quora.com/How-does-pyspider-compare-to-scrapy
        9
    bfbd   2017-06-29 22:33:28 +08:00   ♥ 1
    scrapy 好用,调度方面有 scrapyd。

    https://scrapyd.readthedocs.io/en/latest/
        10
    ila   2017-09-25 14:32:39 +08:00
    @bfbd scrapyd 能否暂停和恢复任务?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   949 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 26ms · UTC 21:42 · PVG 05:42 · LAX 14:42 · JFK 17:42
    ♥ Do have faith in what you're doing.