首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

诸位爬虫工程师使用什么平台/系统/开源项目来监控、维护和管理爬虫?

  •  
  •   Nick2VIPUser · 104 天前 · 2280 次点击
    这是一个创建于 104 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司爬虫刚起步,想找一个工具用来管理和维护未来写的爬虫,在此请教一下大家顺便多学一点东西。

    平时写爬虫 requests 和 scrapy 都有用过。

    12 回复  |  直到 2018-04-08 09:46:40 +08:00
        1
    samding123   104 天前
    spiderkeeper
        3
    Nick2VIPUser   104 天前
    @samding123 昨天用过大神的项目,界面和功能特别棒!
    但我把 egg 文件上传上去后,spider 就是显示不出来,然后暂时放下了-_-
        4
    beforeuwait   104 天前
    我也困惑
        5
    shuizhengqi   104 天前
    pyspider 吧
        6
    farverfull   104 天前
    OpsPlatform
        7
    Cryse   104 天前
    同样的疑惑,目前在用 scrapyd 和 spiderkeeper, 但是感觉 scrapyd 不太好用.
        8
    bazingaterry   104 天前 via iPhone
    我以前团队是自己写的,糅合 pyspider 和 scrapy
        9
    qsnow6   104 天前
    spiderkeeper
        10
    qwertty01   103 天前
    上架市场吧,用不了
        11
    qwertty01   103 天前
    Sorry,回复错了 0.0
        12
    Nick2VIPUser   100 天前
    @shuizhengqi 打算过段时间再学 pyspider -_-
    @farverfull 您说的这个 OpsPlatform 搜不到额...
    @bazingaterry 实在不行就打算自己写个轻量一点的爬虫平台,慢慢加功能
    @qsnow6 我用 spiderkeeper 有点 bug 还没有解决 /哭
    @beforeuwait 哈哈,那咱是同道中人
    @Cryse scrapyd 没有 UI,但是可以自己写界面然后调用 scrapyd 文档提供的 API
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   实用小工具   ·   928 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 21ms · UTC 23:15 · PVG 07:15 · LAX 16:15 · JFK 19:15
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1