推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 570 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题,假如我要下载一个 python 文件,但是我发现这个文件同时存放在华为,腾讯,阿里,亚马逊,豆瓣等地址.
想问下,代码怎么写,可以保证下载速度最快?
因为文件都是一样的,所以,可以同时从 5 个地方一起拉取,然后在本地拼合还是怎么解决呢?
 |
1
bzj 2021-01-20 10:35:03 +08:00
2 种思路
1.客户端发请求 ping5 个地址获取响应时间，找到最快的。 2.记录客户端的 ip 获取位置，跟 5 个地址比较，选择最近的。 |
 |
2
takemeaway 2021-01-20 10:37:50 +08:00
python 能有多大？？
用视频做例子吧，实际上下载跟你本地网速还有服务器网速相关，光谈一边没意义。 如果你的网速小于或等于服务器网速，那么直接从一个地方下载就行了。 如果你的网速大于服务器网速，那么根据比例来加服务器，服务器文件做切片，分开下载，完了拼接起来。 要保证速度最快就是让自己的电脑速度跑满即可。 |
 |
3
imdong 2021-01-20 10:41:35 +08:00
如果支持断点续传，则获取文件大小后，本地分成若干小块。
然后每个源下载不同的块，这就类似 BT 下载了。 |
 |
4
zictos 2021-01-20 10:45:35 +08:00
文件都是一样的，为何又要拼合
|
|
5
zictos 2021-01-20 10:49:03 +08:00
如果每个地方下一部分也无法超过你的最大网速，直接一个地方多线程下载就行，除非有限速
|
 |
6
snowhunter 2021-01-20 10:56:35 +08:00
距离最近就差不多了、比如中国就从阿里下，美国就从 aws 下。
或者电信从电信机房，联通从联通机房。 真的要考虑下载问题适合把文件配置在 CDN 上面，CDN 自动把你做这些分类 |
 |
7
HeiXiaoBai 2021-01-20 10:57:57 +08:00
|
 |
8
laumm1314 2021-01-20 11:05:35 +08:00
根据 http 断点续传协议按照文件大小分为五个部分，分别从五个地方下载，最后写个 python 脚本合并
|
 |
9
x66 2021-01-20 11:15:03 +08:00
如果都支持断点续传。
1.大多数情况下服务器带宽大于本地带宽，选一个最快的服务器多线程下载就好了 2.如果服务器带宽小于本地带宽，那才有必要从多个服务器分块下载 |
 |
10
DeeCheung 2021-01-20 11:48:40 +08:00 via Android
子进程 aria2c 多源
|
 |
11
deorth 2021-01-20 12:11:26 +08:00
libaria2
|
 |
12
q197 2021-01-20 13:47:25 +08:00
aria2 支持多个来源一起下
|
 |
13
v2tudnew 2021-01-20 14:47:36 +08:00  1
其实就是迅雷的镜像加速，但是缺点是只要一个源的文件损坏你最终下载的必定是损坏文件，你还排查不出哪个源有问题。（我就用这招恶心迅雷盗链 v🤣
|
 |
14
ik 2021-01-20 15:13:47 +08:00 via iPhone
没错，就是 aria2
|
 |
15
felixcode 2021-01-20 15:30:28 +08:00 via Android
p2p 下载，做个 bt 种子，关闭 dht
|
 |
16
msg7086 2021-01-21 09:44:23 +08:00 via Android
一个 Python 文件要搞那么复杂嘛，又不是小片片。
|
 |
17
tankren 2021-01-21 10:12:17 +08:00
这是什么神奇需求？几个 G 的 python 文件？
|
 |
18
no1xsyzy 2021-01-21 11:23:21 +08:00
aria2 多源
如果担心 #13 的问题，考虑下把下载信息写成 meta4 文件，可以进行块级校验。 当然，BT 也行，添加 HTTP 上游，也能块级校验。 |
 |
19
xiaoqiao24 2021-01-25 09:12:40 +08:00
1. 本地带宽<服务器带宽（华为,腾讯,阿里,亚马逊,豆瓣等地址），随便找个服务器下载。因为这些服务器我认为大多都会做最近节点匹配，让你下载最快。
2. 本地带宽>>服务器带宽，那就将文件切割，然后分开下载，最后拼接。 |
Select Language