scrapy 怎么管理大量的 spider 啊?

2021-11-01 23:33:11 +08:00
 johnsonshu

假设我写了 1000 个 spider, 我总不能都放在 spiders 目录下吧。 我肯定要进行目录分割:

   spiders/AAA 目录下放置 :spiderA01  spiderA02  ...
   spiders/BBB 目录下放置 :spiderB01  spiderB02  ...
   ...

但是,当我用 scrapyd-deploy 配置到 scrapyd 服务器时, 这些工具只看 spiders 目录下的 spider(子目录被忽略),这样,我的分割完的 spider 就被忽视了。

我该怎么解决这个问题 ?

918 次点击
所在节点    问与答
1 条回复
Kobayashi
2021-11-02 05:26:37 +08:00
SPIDER_MODULES

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/812281

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX