qwertty01
V2EX  ›  问与答

如何管理多个服务器上的爬虫?

  •  1
     
  •   qwertty01 · Mar 8, 2018 · 2207 views
    This topic created in 3005 days ago, the information mentioned may be changed or developed.

    自己写的一个简单的爬虫程序,通过消息队列,让多个计算机上的爬虫接受消息,进行爬取,现在问题来了,如何得知每个计算机上的爬虫运行状态?需要用到什么样的技术?

    消息队列使用的是 RabbitMQ。 爬虫是用 Java 写的。

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1004 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 23:33 · PVG 07:33 · LAX 16:33 · JFK 19:33
    ♥ Do have faith in what you're doing.