定时启动爬虫,日志能够重定向怎么做啊?

2017-03-09 13:31:37 +08:00
 Zane0001

我用 scrapy 写了好几个网站的爬虫,就是抓取一些简单的文字。

现在希望爬虫能定时启动去爬取内容。

1 能够设置定时任务,各个爬虫可以设置不同的启动时间。 2 足够灵活,能够修改/取消。 3 爬虫 log 能够收集起来,到 redis 之类的

有没有比较好的方案啊?看了一下 pyspider 感觉挺好,但是不好灵活修改启动时间。

1335 次点击
所在节点   科技
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/346109

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX