viiii 最近的时间轴更新 viiii 最近的时间轴更新 |
viiiiV2EX 第 416800 号会员，加入于 2019-05-30 11:53:57 +08:00 |
viiii 最近回复了
55 天前 回复了 mcuking 创建的主题 › Vue.js › 最近使用 vue 开发 h5 混合应用一年多了，总结了一套最佳实践模板，欢迎围观，希望能够帮到你 |
已经 star,支持一下
56 天前 回复了 viiii 创建的主题 › 问与答 › 关于 Python 的 web 开发求问 |
@chenkeyan1 写模板都是用的什么工具? 求推荐
57 天前 回复了 viiii 创建的主题 › 问与答 › 关于 Python 的 web 开发求问 |
57 天前 回复了 davidxj 创建的主题 › Python › 请教一个 Python 变量是不是空的判断报错问题 |
```python
if a is None:
pass
```
这样写呢?
if a is None:
pass
```
这样写呢?
59 天前 回复了 viiii 创建的主题 › 问与答 › [求助] Scrapy 报错 KeyError: 'item' |
还有一点比较奇怪, 同样传递方式,在 spider (普通爬虫)里面就一切正常, 换到 crawlspider(通用爬虫)就报 KeyError 错误
59 天前 回复了 viiii 创建的主题 › 问与答 › [求助] Scrapy 报错 KeyError: 'item' |
@warcraft1236
以采集某小说内容为例,
首先在 parse_a 中获取 标题 /简介 /作者等信息, yield 给 pipeline 存到数据表 a 中; 再将 item 传递给 parse_b
第二步, 获取章节正文,存到数据表 b 中 (由于章节正文页面不显示书籍标题,只有章节标题,所以存到表 b 中的时候,需要从 parse_a 里传递书籍标题到 parse_b 中)
基本流程就是这个样子,用 crawlspider 第一次遇到这个情况
以采集某小说内容为例,
首先在 parse_a 中获取 标题 /简介 /作者等信息, yield 给 pipeline 存到数据表 a 中; 再将 item 传递给 parse_b
第二步, 获取章节正文,存到数据表 b 中 (由于章节正文页面不显示书籍标题,只有章节标题,所以存到表 b 中的时候,需要从 parse_a 里传递书籍标题到 parse_b 中)
基本流程就是这个样子,用 crawlspider 第一次遇到这个情况
59 天前 回复了 viiii 创建的主题 › 问与答 › [求助] Scrapy 报错 KeyError: 'item' |
@warcraft1236 打印一下发现确实没有 item,已经在上面追加附言
请问这里该怎么传递 item? 爬取的目标信息分布在不同级别的页面中,无法一次全部获取完整
请问这里该怎么传递 item? 爬取的目标信息分布在不同级别的页面中,无法一次全部获取完整
71 天前 回复了 KnownsecACT 创建的主题 › 推广 › [内有抽奖回馈] 云安全年度钜惠，安全产品全线优惠！ |
小本本手写代码练书法?
76 天前 回复了 viiii 创建的主题 › 问与答 › 关于 Python 的 web 开发求问 |
小白一个,确实没啥基础,一直当做爱好来学习.
工作,家庭,孩子之外能抽出时间来学一点东西的时间少的可怜,也就不追求啥速度了
不指望用来糊口,只希望能简单易学的出几个作品满足一下
工作,家庭,孩子之外能抽出时间来学一点东西的时间少的可怜,也就不追求啥速度了
不指望用来糊口,只希望能简单易学的出几个作品满足一下
Select Language