不懂就问:我有一个文件同时存放在 5 个地方,怎么下载速度最快?

2021-01-20 10:26:56 +08:00
 solider245

如题,假如我要下载一个 python 文件,但是我发现这个文件同时存放在华为,腾讯,阿里,亚马逊,豆瓣等地址.

想问下,代码怎么写,可以保证下载速度最快?

因为文件都是一样的,所以,可以同时从 5 个地方一起拉取,然后在本地拼合还是怎么解决呢?

3166 次点击
所在节点    Python
19 条回复
bzj
2021-01-20 10:35:03 +08:00
2 种思路

1.客户端发请求 ping5 个地址获取响应时间,找到最快的。
2.记录客户端的 ip 获取位置,跟 5 个地址比较,选择最近的。
takemeaway
2021-01-20 10:37:50 +08:00
python 能有多大??
用视频做例子吧,实际上下载跟你本地网速还有服务器网速相关,光谈一边没意义。
如果你的网速小于或等于服务器网速,那么直接从一个地方下载就行了。
如果你的网速大于服务器网速,那么根据比例来加服务器,服务器文件做切片,分开下载,完了拼接起来。
要保证速度最快就是让自己的电脑速度跑满即可。
imdong
2021-01-20 10:41:35 +08:00
如果支持断点续传,则获取文件大小后,本地分成若干小块。

然后每个源下载不同的块,这就类似 BT 下载了。
zictos
2021-01-20 10:45:35 +08:00
文件都是一样的,为何又要拼合
zictos
2021-01-20 10:49:03 +08:00
如果每个地方下一部分也无法超过你的最大网速,直接一个地方多线程下载就行,除非有限速
snowhunter
2021-01-20 10:56:35 +08:00
距离最近就差不多了、比如中国就从阿里下,美国就从 aws 下。
或者电信从电信机房,联通从联通机房。
真的要考虑下载问题适合把文件配置在 CDN 上面,CDN 自动把你做这些分类
HeiXiaoBai
2021-01-20 10:57:57 +08:00
laumm1314
2021-01-20 11:05:35 +08:00
根据 http 断点续传协议按照文件大小分为五个部分,分别从五个地方下载,最后写个 python 脚本合并
x66
2021-01-20 11:15:03 +08:00
如果都支持断点续传。
1.大多数情况下服务器带宽大于本地带宽,选一个最快的服务器多线程下载就好了
2.如果服务器带宽小于本地带宽,那才有必要从多个服务器分块下载
DeeCheung
2021-01-20 11:48:40 +08:00
子进程 aria2c 多源
deorth
2021-01-20 12:11:26 +08:00
libaria2
q197
2021-01-20 13:47:25 +08:00
aria2 支持多个来源一起下
v2tudnew
2021-01-20 14:47:36 +08:00
其实就是迅雷的镜像加速,但是缺点是只要一个源的文件损坏你最终下载的必定是损坏文件,你还排查不出哪个源有问题。(我就用这招恶心迅雷盗链 v🤣
ik
2021-01-20 15:13:47 +08:00
没错,就是 aria2
felixcode
2021-01-20 15:30:28 +08:00
p2p 下载,做个 bt 种子,关闭 dht
msg7086
2021-01-21 09:44:23 +08:00
一个 Python 文件要搞那么复杂嘛,又不是小片片。
tankren
2021-01-21 10:12:17 +08:00
这是什么神奇需求?几个 G 的 python 文件?
no1xsyzy
2021-01-21 11:23:21 +08:00
aria2 多源
如果担心 #13 的问题,考虑下把下载信息写成 meta4 文件,可以进行块级校验。
当然,BT 也行,添加 HTTP 上游,也能块级校验。
xiaoqiao24
2021-01-25 09:12:40 +08:00
1. 本地带宽<服务器带宽(华为,腾讯,阿里,亚马逊,豆瓣等地址),随便找个服务器下载。因为这些服务器我认为大多都会做最近节点匹配,让你下载最快。
2. 本地带宽>>服务器带宽,那就将文件切割,然后分开下载,最后拼接。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/746565

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX