scrapy 404

[Ewig]

2019-01-05 14:04:50 [csrc][scrapy.core.engine] DEBUG: Crawled (404) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340238.htm> (referer: http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index_16.html)
2019-01-05 14:04:51 [csrc][scrapy.spidermiddlewares.httperror] INFO: Ignoring response <404 http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340238.htm>: HTTP status code is not handled or not allowed

抓取 网址的时候 报 404，很多都没有问题，就是个别的出现 404 这是为啥？

网址：
http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index.html

[InternetExplorer]

别爬了，要被抓起来吃牢饭的

[PulpFunction]

在线 debug …

[whoami9894]

论坛在线发贴 debug

[liuxu]

测试了一下没有啊。。。
2019-01-05 15:13:20 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340238.htm> (referer: None)

[j0hnj]

真·在线 debug

[lsido]

你也是厉害，花钱请个人不比你问的强？？