scrapy DNS lookup failed

2017-11-03 10:16:36 +08:00
 thedog

最近在用 scrapy 写一个爬虫,由于爬取对象在墙外,就给爬取网址添加了 ipv6 的 hosts。可以确定的是

  1. 该网站可以直接 ping url 成功
  2. 用 wget 可以直接下载网站 html
  3. 用 python 的 requests 包进行 get,可以获取到正确结果

但是! 用 scrapy 爬取的时候报了 dns 查找错误

DNSLookupError: DNS lookup failed: no results for hostname lookup:

看了半天 scrapy 文档,关于 dns,好像只有 dns 缓存的设置。。。

不知道是什么问题,不知道有遇到同样问题的吗?

2537 次点击
所在节点    Python
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/403159

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX