首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
拉钩
V2EX  ›  Python

诸位爬虫工程师使用什么平台/系统/开源项目来监控、维护和管理爬虫?

  •  
  •   Nick2VIPUser · 255 天前 · 2938 次点击
    这是一个创建于 255 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司爬虫刚起步,想找一个工具用来管理和维护未来写的爬虫,在此请教一下大家顺便多学一点东西。

    平时写爬虫 requests 和 scrapy 都有用过。

    14 回复  |  直到 2018-11-15 11:39:14 +08:00
        1
    samding123   255 天前
    spiderkeeper
        3
    Nick2VIPUser   254 天前
    @samding123 昨天用过大神的项目,界面和功能特别棒!
    但我把 egg 文件上传上去后,spider 就是显示不出来,然后暂时放下了-_-
        4
    beforeuwait   254 天前
    我也困惑
        5
    shuizhengqi   254 天前
    pyspider 吧
        6
    farverfull   254 天前
    OpsPlatform
        7
    Cryse   254 天前
    同样的疑惑,目前在用 scrapyd 和 spiderkeeper, 但是感觉 scrapyd 不太好用.
        8
    bazingaterry   254 天前 via iPhone
    我以前团队是自己写的,糅合 pyspider 和 scrapy
        9
    qsnow6   254 天前
    spiderkeeper
        10
    qwertty01   254 天前
    上架市场吧,用不了
        11
    qwertty01   254 天前
    Sorry,回复错了 0.0
        12
    Nick2VIPUser   251 天前
    @shuizhengqi 打算过段时间再学 pyspider -_-
    @farverfull 您说的这个 OpsPlatform 搜不到额...
    @bazingaterry 实在不行就打算自己写个轻量一点的爬虫平台,慢慢加功能
    @qsnow6 我用 spiderkeeper 有点 bug 还没有解决 /哭
    @beforeuwait 哈哈,那咱是同道中人
    @Cryse scrapyd 没有 UI,但是可以自己写界面然后调用 scrapyd 文档提供的 API
        13
    my8100   50 天前
    scrapydweb:实现 Scrapyd 集群管理,Scrapy 日志分析和可视化 https://github.com/my8100/scrapydweb
        14
    my8100   30 天前
    @my8100 本站搜索:如何简单高效地部署和监控分布式爬虫项目
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2297 人在线   最高记录 4019   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 16ms · UTC 06:56 · PVG 14:56 · LAX 22:56 · JFK 01:56
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1