首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

如何一键启动并监控多个 Python +requests 爬虫

  •  
  •   Hiyokunotori · 37 天前 · 835 次点击
    这是一个创建于 37 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我知道 scrapy 可以使用 scrapyd 来监控 可是我有很多 requests 写的爬虫该如何监控呢? 我目前的做法是在 pycharm 里一个个去运行程序 然后在 run 栏里会出来多个标签可以监控输出 或者是打开多个 cmd 每个里面 python xxxx 但是这样当电脑重启再来启动多个爬虫很麻烦 有没有好的方法或者 pycharm 现成的设置能让我配置好所有爬虫程序后一键启动并且分成多个标签让我来监控程序的输出呢?

    10 回复  |  直到 2019-07-18 13:36:03 +08:00
        1
    ModerRAS   37 天前 via Android
    你可以直接写一个调用其他爬虫 main 函数的脚本,然后直接输出控制台就好了
        2
    genius2k   36 天前
    logger
        3
    Luxurious   36 天前
    把 requests 爬虫分下类, 放到一个文件夹, 另外写一个脚本来管理这些文件夹下的爬虫
        4
    fakeman   36 天前
    用 supervisor 即可
        5
    rocketman13   36 天前
    脚本就可以一键启动,日志管理就可以监控输出
        6
    lowman   36 天前
    进程管理工具
        7
    tikazyq   36 天前
    这个需求太符合 Crawlab 了! Crawlab 是分布式爬虫管理平台,非常适合爬虫任务调度、任务监控、数据分析。欢迎来试用

    Github: https://github.com/tikazyq/crawlab
        8
    huaerxiela6   36 天前
    进程管理工具
        9
    Hiyokunotori   13 小时 35 分钟前
    @fakeman win 的话使用什么呢。。
        10
    fakeman   10 小时 28 分钟前
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2024 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 20ms · UTC 16:04 · PVG 00:04 · LAX 09:04 · JFK 12:04
    ♥ Do have faith in what you're doing.