scrapyd 怎么可以让爬虫定时采集

2018-08-14 18:03:18 +08:00
 SpiderXiantang

看了一下 scrapyd 的 api 感觉功能好少啊 而且对分布式也没有支持 我现在遇到的问题是是需要采集一家电商网站 然后反复爬取 进行价格的监控 请问下有没有大佬有思路

3764 次点击
所在节点    Python
5 条回复
SpiderXiantang
2018-08-14 18:10:42 +08:00
还有就是如何同时启动分布式爬虫 求思路！
zzj0311
2018-08-14 21:44:31 +08:00
crontab 了解一下？
masha
2018-08-15 00:13:03 +08:00
分布式可以试试 scrapy-redis
SpiderXiantang
2018-08-15 09:15:09 +08:00
@masha 我用的 scrapy-redis 但是不知道怎么协同启动爬虫 我需要反复的监控这个网站
my8100
2018-11-14 23:56:16 +08:00
@SpiderXiantang 如何简单高效地部署和监控分布式爬虫项目 https://www.v2ex.com/t/507933

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/479775

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX