在 scrapy 中,如何在 spider 覆盖掉 settings.py 中的配置

2014-09-03 10:45:38 +08:00
 pc10201
比如我在settings.py中设置了

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0'

在某个spider中想覆盖掉这个值

我用了两种办法

方法一

from scrapy.conf import settings

settings.set('USER_AGENT','firefox')

方法二

from scrapy.settings import Settings
settings=Settings()
settings.set('USER_AGENT','firefox')

方法三
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
settings.set('USER_AGENT','firefox')

方法二和方法三不起作用,方法一是生效的,但是from scrapy.conf import settings是被scrapy废弃掉了,可以兼容使用,但是官方不推荐
会提示
Module `scrapy.conf` is deprecated, use `crawler.settings` attribute instead

我折腾了半天,没有用crawler.settings搞出来,大家怎么解决的?
10053 次点击
所在节点    Python
1 条回复
hustluo
2014-09-11 13:51:29 +08:00
您好,我是华中科技大学毕业的。现在在做中小学在线教育,立志于打造一款中小学知识点视频词典,学生不懂的题,我这里都有讲解。我们的网站和APP第一版已经开发完成,www.tuomeng.com.cn 现在招募Python的技术合伙人和在线教育的运营合伙人,身边有合适的人还望推荐,或者自荐,谢谢。昨天一天一个人发了个帖子,400个初二以上的中学生加我QQ群,现在也有几十万的用户信息,我QQ360714168,希望能够详聊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/131449

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX