scrapy 爬网站的时候 加代理报错

[Ewig]

这个网站加了代理报错如下
网址： http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index

自己的 middleware 组件
import base64


class proxy_middleware(object):

def __init__(self):
proxy_host = "t.1n.cn"
proxy_port = "**"
self.username = "***"
self.password = "***"
self.proxies = {"https": "https://{}:{}/".format(proxy_host, proxy_port)}
self.proxy_server = 'https://w5.t.16yun.cn:6469'
self.proxy_authorization = 'Basic ' + base64.urlsafe_b64encode(
bytes((self.username + ':' + self.password), 'ascii')).decode('utf8')

def process_request(self, request, spider):
request.meta['proxy'] = self.proxy_server
request.headers['Proxy-Authorization'] = self.proxy_authorization




2019-01-05 10:37:46 [csrc][scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index_1.html> (failed 1 times): [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl3_get_record', 'wrong version number')]>]

[xz]

你们公司在哪？还招人吗？

[PulpFunction]

网址都 404 了
1n.cn 是啥代理

[Ewig]

我
@PulpFunction http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index.htm

[Ewig]

@PulpFunction http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index.html

[Ewig]

@PulpFunction 我故意写错的，是一个动态代理

[meik2333]

难道 1n.cn 就是下面那个 w5.t.16yun.cn:6469 么？

[misaka19000]

又见不格式化的 python 代码，v 站的用户素质已经这样了吗？

[PulpFunction]

建议你看看官方文档，我是 splashrequests
形式如：
SplashRequest （ url, callback, endpoint, args{lua_source.......proxy}）

你看你用什么 Request 应该大同小异

换个代理，有的不好使

[Ewig]

@PulpFunction 解决了，谢谢！

[gaoan000]

@xz 杀人诛心