爬虫小白,想请教几个问题

2020-03-04 20:50:45 +08:00
 Colorful

用 scrapy 写的,碰到个问题,运行的时候,没有经过 pipelines 页面

wincos 为主目录

wincos/spiders/win4.py 内容是:

-- coding: utf-8 --

import scrapy from wincos.items import WincosItem from scrapy.http import Request

class Win4Spider(scrapy.Spider): name = 'win4' allowed_domains = ['www.win4000.com'] start_urls = ['http://www.win4000.com/meinvtag26_1.html']

def parse(self, response):
    mtitem = WincosItem()
    mtitem['title'] = response.xpath("//a/img/@src").extract()  #标题
    
    # http://www.win4000.com/meinv
    print("================")
    print(mtitem['title'])
    yield  mtitem
    for i in range(1,3):
        url="http://www.win4000.com/meinvtag26_"+str(i)+".html"
        print(url)
        yield Request(url,callback=self.parse)

items 页面内容是: import scrapy class WincosItem(scrapy.Item): title = scrapy.Field()

pipelines 页面是: class WincosPipeline(object): def process_item(self, item, spider): print("===========88888888============") print(item) for i in range(0,len(item['title'])): print("===========666666============") print(item['title'][i]) return item

运行得到的数据是{'title':['所有的图片']

但是没有进入 pipelines 里面来,不知道问题在哪。想保存数据进来

2344 次点击
所在节点    Python
6 条回复
wuyifar
2020-03-05 11:10:00 +08:00
settings.py 这个文件中的 ITEM_PIPELINES 设置了吗, 优先级调高一点看一下
Colorful
2020-03-05 16:15:15 +08:00
@wuyifar 可以了,太感谢了
Colorful
2020-03-05 16:24:55 +08:00
@wuyifar 还想请教下,如何把图片保存到本地?
Dustyposa
2020-03-05 17:04:19 +08:00
`Path(name).write_bytes()`
存图片
wuyifar
2020-03-05 17:45:41 +08:00
@Colorful 存图片的好,4 楼给了方法了, 其实就普通的文件保存的方法也可以,就直接 open
Colorful
2020-03-06 12:43:34 +08:00
@wuyifar 我看看

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/649898

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX