我在写一个爬外网图片的爬虫。
机子本身用了 shadowsockR 科学上网了。
但是程序对网站的请求都是超时。
所以我怀疑是 IDEA 本身要设置代理,但是怎么都设置不好。
我是这么设置的请看一下
ip 地址,端口和密码都没问题( shadowsockR 不是不需要输入账户名但是需要密码吗)。
但是却无法访问 google,
我在写一个爬外网图片的爬虫。
机子本身用了 shadowsockR 科学上网了。
但是程序对网站的请求都是超时。
所以我怀疑是 IDEA 本身要设置代理,但是怎么都设置不好。
我是这么设置的请看一下
ip 地址,端口和密码都没问题( shadowsockR 不是不需要输入账户名但是需要密码吗)。
但是却无法访问 google,
|
1
我不太理解这个,机子本身已经科学上网了,但是 idea 却不是。
shadowsockR 到底是个什么机制? 我们电脑访问网络使用的都是一个端口吗?还是浏览器和 idea 使用的是不同的端口? 然后 ss 只捕获了浏览器使用的端口,然后再把响应返回给这个端口吗? |
|
2
host 应该是 127.0.0.1 然后下面的 Proxy auth 不需要勾选填写吧
|
|
VegetablesNov 24, 2018 via Android
3
地址貌似要填本地地址
|
|
ju5t4funNov 24, 2018
4
不关 idea 的事,你自己的爬虫代码里要指定代理
|
|
AEANWspPmj3FUhDcNov 24, 2018
5
没用过 shadowsockR。
不靠谱猜测一下,ssr 是否开启了 pac 模式,然后你爬的这个网站并不在 pac 列表中? |
|
JohnZornNov 24, 2018 via Android
6
4 楼应该是对的 你的程序 http 请求和 ide 没关系 http.setProxy 为请求设置代理
|
|
zealzzNov 24, 2018 via iPhone
7
大胸弟,ssr 科学上网默认不是全局的,比如终端,idea 都要而外设置。
|
|
8
好,感谢大家的解答,我再努力一下
|
|
CEBBCATNov 24, 2018 via Android
9
四楼说的对。举例:
macOS 设置了 PAC 自动分流,但 Terminal 里的 git 还是极慢,这时候需要 expert 设定代理,到了你这里我不知道在环境变量里设置有没有用,但发送请求用的库肯定有办法显式指定代理 |
|
10
@PPTing
@Vegetables 使得,填本机可以上 google,但是不是 socks 是 http,这个我知道问题在于程序还是不行。下面老哥解答说,这个代理是 idea 的,和程序是分开的。我想应该是 idea 更新下载包之类的请求会通过这个代理(疑问是 maven 也会吗,需不需要 maven 再设置一次),但是程序不会。 我还是太年轻了,爬虫写太少了,可恶! |
|
kassadinNov 24, 2018
11
IDEA 本身要设置代 -> 这个是用于 IDEA 更新,安装插件等时让它走代理
你需要的可能是代码上类似`requests.get("http://example.org", proxies=proxies)`设置代理 |
|
zhch602Nov 24, 2018 via Android
12
idea 的代理和你的爬虫有什么关系?你的程序又不是运行在 idea 里的
|
|
dobeleeNov 24, 2018 via Android
13
服了,你的程序需要代理跟 idea 有毛关系啊,这里的代理是用来干 ide 相关的工作,比如下载插件,安装依赖。。。
|
|
also24Nov 24, 2018
14
鉴于你的爬虫本身就是爬外网内容的,你应该在爬虫的配置文件里加上代理部分,并用爬虫使用的请求库内部的代理方法来设置,这样才能保证可迁移性,否则只能治标不能治本。
|
|
anyeleNov 24, 2018 via Android
15
全局的代理最好用路由器
|
|
sslyxhzNov 24, 2018 via Android
16
有过一次用 socks 死活连不上,改 http 就可以了,从此 idea 代理不用 socks
|
|
nuttingNov 24, 2018 via Android
17
python?我知道 java 是需要启动时候命令行参数的,类似,你找找看
|
|
LinyvhanNov 24, 2018
18
用 http 即可.127.0.0.1 1080.
|
|
rb6221Nov 24, 2018 via iPhone
19
http 就行 无密码
|
|
SorcererXWNov 24, 2018
20
java 程序默认直连了, 不走本地代理
试试看用 Proxifier, 实现真正的全局代理 |
|
300Nov 24, 2018 via Android
21
HTTP 之前有一次版本更新之后不能用 socks 了,Android studio 也是。。
|