一个使用 OSS 作为大文件中转的想法

[RangerWolf]

这个想法比较简单, 要是已经有人实现了还请轻喷

想法背景

1. 我厂在下载一些外网资源特别是国外一些公开数据的时候, 下载速度非常慢.
2. 我们有腾讯云或者阿里云的服务器, 他们线路非常好, 下载很快. 但是奈何出口带宽很小(1~2M)
3. 可以解决 OSS, 在 VPS 下载之后上传到 OSS, 从 OSS 来下载资源

好处

1. 应该能极大的加速下载速度
2. 成本可控, 特别是阿里云的 OSS, 在半夜下载流量费用更低

麻烦的地方

1. 如果想要通用的话, 兼容不同的文件下载资源还是挺烦的, 比如七牛\阿里云\腾讯云
2. 兼容各种下载要求, 比如有的不需要认证, 有的只是简单的 username + password, 而有的还需要登录(cookie).

搜了一会没找到相关开源项目, 要是哪位知道还请告诉一下 :D

[odirus]

不知道现在 mega 怎么样了，我去年用这个网盘把国外资源转移到国内的时候，速度杠杠的。可以尝试一下。

[f2f2f]

我厂在下载一些外网资源特别是国外一些公开数据的时候, 下载速度非常慢.
换 cn2，此问题解决

[duola]

把 oss 挂载在 VPS 上面不就行了吗？有什么好折腾的。

[ryd994]

VPS 按流量计费，我记得流量价格和 OSS 一样

[RangerWolf]

@ryd994 我刚特意用计算器看了一下, 应该还是不太一样.

[dorothyREN]

世界加钱可及

[artandlol]

赞同，搭分布 CDH 和容器编排 K8S 各种折腾，因为都需要弄虚拟网卡，只能在路由层面代理，但别人机房的路由又不能让我们弄，只能一个个下慢慢搬，很多大企业都帮忙中转后面都搞成自己局域网，还是得自己搬