V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
laqow
V2EX  ›  宽带症候群

海外服务器约 20T 的数据怎样传回国内比较方便?

  •  1
     
  •   laqow · 2022-03-04 11:32:43 +08:00 · 10025 次点击
    这是一个创建于 811 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一堆医学图片数据,合作学校提供了一个 HTTP 服务下载,每压缩包 300M 。 最理想大概是有人能在当地下载然后把硬盘带回来,但大概联系不到这样的人。用电信 100M 光纤直接下的话起初速度 30MBit/s ,但过一段时间会降到 2MBit/s ,感觉是网络波动降的速度。

    请问这个大小的数据用哪类服务加速下载比较方便省钱?如果用 VPS 、GN2 等中转的话怎样配置?

    第 1 条附言  ·  2022-03-04 12:46:41 +08:00
    补一个难点是对方提供了一个程序下载,完整文件平均每个 3G ,这个程序以单线程的方式顺序下载多个 300M 的压缩包,下完了再拼起来,然后有时中间哪个 300M 下一半掉速中断的话,用它的程序 3 个 G 要重新下载。
    我抓包这个程序实际是访问一个 Apache 服务器走的 POST 方式的 HTTP 下载,会记录下载 IP 但应该不会做拦截,我目前是想拦截它的请求然后改用 curl 下载,后面再让它拼。
    87 条回复    2022-03-17 15:24:24 +08:00
    bankroft
        1
    bankroft  
       2022-03-04 11:38:21 +08:00
    网盘中转呢
    iold
        2
    iold  
       2022-03-04 11:38:33 +08:00   ❤️ 4
    寻个当地的留学生,给些钱,帮邮寄一下。
    xwayway
        3
    xwayway  
       2022-03-04 11:42:16 +08:00
    1. 没有鉴权,七牛买个 cdn ,自己绑个域名上去,设置个回源地址就下载了。
    2. 如果下载是有鉴权的话,自己搞个海外服务器,当下载机,再转回来,可以通过方案 1
    mineralsalt
        4
    mineralsalt  
       2022-03-04 11:42:30 +08:00
    多搞几个 IP 去下载
    zhs227
        5
    zhs227  
       2022-03-04 11:43:02 +08:00
    按亚马逊$0.12 每 GB 的 EC2 流量,1T 流量的费用差不多是 800 人民币 ,传送 20T 的成本大概是 16000 元(不计重传和传送失败的消耗)。走 S3 存储+CDN 会快一些,但是费用仍然不低。弄个硬盘拷好了寄回来是最佳选择。从成本算还可以白得 20T 硬盘。
    用 VPS 的话,一般的 VPS 都有月限额,从 100G 到几 T 不等,但还没有看到月配额有 20T 的机器。
    dreamer8933
        6
    dreamer8933  
       2022-03-04 11:46:01 +08:00 via iPhone
    需要我帮你转吗?我可以帮你转去 od ,国内 od 应该满速吧
    S179276SP
        7
    S179276SP  
       2022-03-04 11:46:49 +08:00 via Android
    @iold 貌似国际邮包要消毒一周
    wanwaneryide
        8
    wanwaneryide  
       2022-03-04 11:48:39 +08:00
    弄个电信带宽提速的,包月差不多 20 左右吧。提到 500M 试试,整天挂着传数据
    ilylx2008
        9
    ilylx2008  
       2022-03-04 11:51:31 +08:00
    北京联通,千兆带宽,按 50MB/s 计算,十多天就下完了。
    wanwaneryide
        10
    wanwaneryide  
       2022-03-04 11:51:43 +08:00
    或者弄那种节点代理啥的,速度应该能快很多
    wanwaneryide
        11
    wanwaneryide  
       2022-03-04 11:52:58 +08:00
    网盘不是有那种离线下载嘛,试试能不能用,能用的话,开个超级会员,估计就是最便宜的方案了
    nkloveni
        12
    nkloveni  
       2022-03-04 12:14:05 +08:00
    找我帮你传,能给多少钱?
    matolv
        13
    matolv  
       2022-03-04 12:23:22 +08:00   ❤️ 7
    区区 20T ,如果对保密性没要求,去 Hostloc 上出钱,让人竞标,价低者得
    datou
        14
    datou  
       2022-03-04 12:24:30 +08:00
    现在国际邮件时效基本没保障

    朋友十月底在德亚下单的东西过年期间才到

    还是慢慢下载吧
    MacDows
        15
    MacDows  
       2022-03-04 12:28:58 +08:00 via Android
    Dropbox 开一个月就行了
    MacDows
        16
    MacDows  
       2022-03-04 12:29:10 +08:00 via Android
    @MacDows resilio sync 也行
    liulongquan
        17
    liulongquan  
       2022-03-04 12:36:02 +08:00
    @zhs227 弄个香港家宽虚拟独立服务器,也就一个月千把块,流量不限,上下千兆对等,hkt 比较好
    terryops
        18
    terryops  
       2022-03-04 12:37:22 +08:00
    我这白天有 2G 的移动 IDC 带宽空闲,不知道直接下载速度怎么样。没有保密性的话可以帮你试试
    laqow
        19
    laqow  
    OP
       2022-03-04 12:40:06 +08:00
    @bankroft @wanwaneryide 网盘估计没这么大的,买这个大小的网盘大概和租个 VPS 差不多了
    @xwayway @zhs227 对方提供了一个程序下载,但抓包是一个 Apache 服务器走的 POST 方式的 HTTP 下载,会记录下载 IP 但应该不会做拦截,我目前是想抓包它的请求然后改用 curl 下载。像这种方式的只租 CDN 能下的回来吗?还是必须中间经过一个下载机?
    @dreamer8933 OD 是什么?
    @wanwaneryide @ilylx2008 感觉主要问题是掉速,因为是单线程的 POST 请求,估计是中间哪个环节掉速。如果电信有类似速度保护之类的服务升级就好了。
    @nkloveni 我想 1000 以内能实现 10Mbps 以上稳定下载就好了,超了就放那挂着下算了,反正 2Mbps 也不是不能下
    lizhiqing
        20
    lizhiqing  
       2022-03-04 12:44:39 +08:00 via iPhone
    用云中转 yunzhongzhuan.com
    SenLief
        21
    SenLief  
       2022-03-04 12:49:06 +08:00
    已经分好了包的,那很好处理的。不要求速度的话,用网盘就拉回来了。弄个 OneDrive 5t 的,国内和国外都可以满速的跑。
    Mateverse
        22
    Mateverse  
       2022-03-04 12:51:19 +08:00
    我之前( 17 年底和 18 年)的方案:也是几十 T 的数据压缩的小 zip 包,我选择了 QQ 邮箱,国外下载速度出奇的快…

    当然你可以试试,我并不确定现在国外的上传和下载速度。
    ad54392126
        23
    ad54392126  
       2022-03-04 13:27:08 +08:00
    你要在上海我帮你下,家宽 cn2 精品网千兆不限速。或者去弄个阿里云香港来下载通过内网传到 oss ,带宽和容量都足够,再通过香港 oss 传到国内的 oss 。
    q197
        24
    q197  
       2022-03-04 13:29:25 +08:00 via Android
    可以直接下载就加线程,只要网络互连不太差速度能跑满
    isnullstring
        25
    isnullstring  
       2022-03-04 13:53:02 +08:00
    要不试试 OneDrive
    sujin190
        26
    sujin190  
       2022-03-04 14:09:34 +08:00
    走国外数据大了太容易断了,如果他们提供的下载程序不能分包的话,还是建议国外再弄台机器下载下来用 resilio 来同步,或者你可以下载好拆成小包加密然后众筹一下看看有没有人愿意帮你下载好再给你,当然国外的带宽也要弄大一点
    paradoxs
        27
    paradoxs  
       2022-03-04 14:11:34 +08:00
    百度超级会员,难道不是最好的方案?

    下载几乎能保证满速
    macy
        28
    macy  
       2022-03-04 14:25:47 +08:00
    家里千兆网络限制,可帮忙代下,但是我硬盘没那么大,上传 100m 左右,可以边下边上传到阿里云,应该很快
    tms
        29
    tms  
       2022-03-04 14:27:29 +08:00
    优化下自己的线路挂着慢慢下吧。
    dabaibai
        30
    dabaibai  
       2022-03-04 14:31:25 +08:00
    买硬盘 寄过来
    jsyzdej
        31
    jsyzdej  
       2022-03-04 14:46:05 +08:00 via Android   ❤️ 1
    寄硬盘应该不太可能,有些快递要求硬盘类产品必须为空盘,操作系统都不准有。
    不如试试买一个月抛 AWS 或者月抛 az 拉数据
    FrankAdler
        32
    FrankAdler  
       2022-03-04 14:48:51 +08:00
    我觉得可能做成种子,每个种子 1t ,20 个种子,就挂着下载,可能比 http 要便捷,损耗还小
    bclerdx
        33
    bclerdx  
       2022-03-04 14:56:56 +08:00
    我艹,20TB 的数据量确实不小。
    ch2
        34
    ch2  
       2022-03-04 14:58:15 +08:00 via iPhone
    我记得电信下载用量达到 1T 就强制降速,20T 先不说对面能不能传过来,恐怕你自己的宽带都已经被降成蜗牛了
    ch2
        35
    ch2  
       2022-03-04 15:04:10 +08:00 via iPhone
    如果你的宽带不降速的话,推荐买一台 buyvm 的不限流量的 VPS 月抛搭一个 hysteria ,然后用 proxifier 强制你的下载程序使用 hysteria 代理,这样可以保证差不多可以一直跑在 100M 左右
    uncleroot
        36
    uncleroot  
       2022-03-04 15:12:36 +08:00
    应该找个下载器开分片下载速度就稳定了。
    ch2
        37
    ch2  
       2022-03-04 15:14:23 +08:00 via iPhone
    上面是 ovpn ,下面是 hysteria
    ![5505C05A-7ED1-4906-81F2-AD1993F33F81.jpeg]( https://s2.loli.net/2022/03/04/PQsYKBa59VdiMC8.jpg)
    laoyur
        38
    laoyur  
       2022-03-04 15:28:32 +08:00
    问题是你希望多长时间内搞定
    锅内单条宽带突击搞 20T 下载,确实风险大的
    你可以找朋友均摊了下载,最后再移动硬盘寄给你
    至于直连效果不行的话,走中转比较好,但是你这数据量有点大
    去 hostloc 找几个 MJJ 租几个甲骨文给你开个转发吧
    ZeroKong
        39
    ZeroKong  
       2022-03-04 15:39:37 +08:00
    @laqow 我有个 115....有 50 多 pb
    wtdd
        40
    wtdd  
       2022-03-04 16:04:11 +08:00
    家用宽带降速问题是短板,硬盘何必找人带,直接寄就可以吧
    isad
        41
    isad  
       2022-03-04 16:21:36 +08:00
    @zhs227 这时候,让我们高呼,乌龟壳!!!( 10T/m )
    Fantasia1993
        42
    Fantasia1993  
       2022-03-04 16:31:38 +08:00
    直接寄硬盘吧~速度最快~2 个 10ti 的 3000 不到
    DTCPSS
        43
    DTCPSS  
       2022-03-04 16:34:01 +08:00
    寄吧
    *激昂的赛博音乐*
    titanium98118
        44
    titanium98118  
       2022-03-04 16:47:38 +08:00
    这让我想到了王思聪的家宽
    fiht
        45
    fiht  
       2022-03-04 17:07:19 +08:00
    有预算 + 数据不敏感的话楼主可以联系下我,层主我是资深 NAS 用户,可以帮你看下给你报价

    某绿色软件: MTc4NjUxOTk5Njg=
    koloonps
        46
    koloonps  
       2022-03-04 17:14:14 +08:00
    海外买一台服务器,下载之后上传到阿里的 OSS
    specialperson
        47
    specialperson  
       2022-03-04 17:37:38 +08:00
    20T ,,用家用肯定不行 4T 就封你账号了。 也可以直接寄。有条件买个服务器,搞个 20T 云云盘,慢慢下,费用偏高。
    xuecan
        48
    xuecan  
       2022-03-04 17:58:22 +08:00
    我觉得 这个完全取决于你的预算。。
    oceanlove
        49
    oceanlove  
       2022-03-04 18:02:00 +08:00
    Onedrive 完全可以,成都移动商宽以前,现在,将来都在用的
    kandaakihito
        50
    kandaakihito  
       2022-03-04 18:47:27 +08:00   ❤️ 5
    本板块现在是开启了军备竞赛模式么,怎么隔一段时间就有人要跨国传输大体量文件?

    指不定下次再见到类似的贴子的时候就已经以 PB 为单位了(手动滑稽
    jZEdn7k4
        51
    jZEdn7k4  
       2022-03-04 19:39:15 +08:00 via iPhone
    别的不知道,但强烈不建议找别人下载,楼主这么大的 dicom 数据多半就是做 AI 的吧,你老板拿到这么大的数据集应该不容易,找别人下载轻轻松松复制了一份跑了,何况还是医学数据这种敏感数据。还是自己找办法下吧。
    bclerdx
        52
    bclerdx  
       2022-03-04 19:52:29 +08:00
    @kandaakihito 确实,近期发现类似的帖子有好几个。
    ytmsdy
        53
    ytmsdy  
       2022-03-04 19:59:29 +08:00
    还是用技术手段下载下来吧。现在国际快递的派送速度非常不稳定,什么时候能到完全看人品!
    aru
        54
    aru  
       2022-03-04 20:06:23 +08:00
    1. 如果是上海电信,那花钱开通 CN2
    2. 可以考虑换成联通宽带
    3. 可以考虑搞服务器做一个转发
    1000 以内搞定都不成问题
    philippiela
        55
    philippiela  
       2022-03-04 20:15:39 +08:00
    区区 20T 不考虑数据安全的话 buyvm 无限流量配合 rclone 转存 OneDrive 即可
    linglin0924
        56
    linglin0924  
       2022-03-04 20:30:25 +08:00
    距离发帖快过去 9 个小时了,楼主要是把下载地址贴出来,热心的吃瓜群众可能都给你下载好了。
    mobobye
        57
    mobobye  
       2022-03-04 22:04:38 +08:00 via iPhone
    使用 xdown ,开启 RR 算法,解君愁……
    crazydd
        58
    crazydd  
       2022-03-04 22:12:51 +08:00
    楼主可能需要注意一下医学图像合规,一般不允许上第三方服务器。
    jousca
        59
    jousca  
       2022-03-04 22:20:50 +08:00
    BitTorrent Sync
    vueli
        60
    vueli  
       2022-03-04 22:42:07 +08:00
    磁力链接
    laqow
        61
    laqow  
    OP
       2022-03-04 23:43:13 +08:00
    非常感谢各位朋友帮忙支招,目前计划先分配几个同学挂着下。后面按大家建议的方法逐个试一下,看看电信有没有不限流的方案或 CN2 能办理,不行再试试 AWS 、阿里 OSS 什么的。
    @kandaakihito @bclerdx 唉元宇宙是这个样子的了
    @jZEdn7k4 @crazydd 这么想确实是,可能也是搞个门槛。对方单个主机挂这么大个数据还是走 HTTP 的 POST 下载也是离谱。
    @mobobye 谢谢,尝试一下,只是对面服务器只有一个 IP 出来没别的镜像不知道有没有用。
    PatrickLe
        62
    PatrickLe  
       2022-03-05 00:13:40 +08:00   ❤️ 9
    2T 一个包,做成 10 个种子,种子名字改成“三上悠亚经典作品集合”这样的名字,发到 1024 、色花,然后你国内电脑可以开着 qBittorrent 这样的 BT 软件下载了,有全国的 LSP 们帮你加速下载,20T 小意思,你网速不拉胯几天就下完了,不花一分钱
    zzw1998
        63
    zzw1998  
       2022-03-05 00:37:33 +08:00
    直接寄 FedEx ,全球三天到,最省事不折腾
    2NUT
        64
    2NUT  
       2022-03-05 01:15:02 +08:00
    @PatrickLe #62 笑了,如果不是商业数据可以一试
    just1
        65
    just1  
       2022-03-05 01:18:37 +08:00
    10m/s 都要二十几天,更别说家宽达量限速........
    kingcanfish
        66
    kingcanfish  
       2022-03-05 01:46:58 +08:00
    @PatrickLe 诶 别说 你他娘的还真是个天才
    irainsoft
        67
    irainsoft  
       2022-03-05 01:58:40 +08:00
    20T 肯定是邮寄最快了,两三天差不多就到了
    HiLyy
        68
    HiLyy  
       2022-03-05 04:20:37 +08:00   ❤️ 2
    可以用这个网站: https://www.backblaze.com/b2/cloud-storage-pricing.html

    上传到他们网站,$5/TB/月,20T 一个月$100,然后他们家提供邮寄服务,8TB $189 ,要是把硬盘再寄回,这笔钱可以退给你。
    HiLyy
        69
    HiLyy  
       2022-03-05 04:23:30 +08:00
    @jsyzdej 快递怎么知道你的硬盘上没有数据,插电脑上检查每个扇区都为 0 ?
    Actrace
        70
    Actrace  
       2022-03-05 09:14:38 +08:00
    tmp.link 可解,速度一般都能到 20MB/s 左右。
    zzlhr
        71
    zzlhr  
       2022-03-05 10:42:49 +08:00
    webrtc 传?
    windyskr
        72
    windyskr  
       2022-03-05 11:34:05 +08:00
    celeron533
        73
    celeron533  
       2022-03-05 12:24:50 +08:00
    对方提供程序下载。。。NBIA 相关?
    celeron533
        74
    celeron533  
       2022-03-05 12:26:18 +08:00
    另外你提到“当地人下载”,海外很多宽带限制流量,超过会减速或者额外收费。最好是在那个学校里直接内网下载搞定,再寄回。
    peterpei
        75
    peterpei  
       2022-03-05 13:53:41 +08:00
    你这个程序其实是请求了不同的 range 吧,程序问题倒是没什么
    所以其实解决方案很简单
    Step1. 写一个 /联系对方获得每个分块的下载链接
    Step2. *因为你是百兆带宽* 所以可以同时开 3 个腾讯云 hk 轻量服务器下载(上传限速 30mpbs X3 差不多你的电信也就跑满了 而且轻量服务器每月限制带宽 1TB)
    Step3. 达到 1TB 的轻量服务器可以直接删掉了,两天差不多两块钱吧
    这些数据差不多两天可以迁移,也就是说两天可以迁移 3TB ,不到两周就弄完
    实际花销应该不到 60r
    当然如果可以 py 一个千兆网,应该两三天就弄好
    peterpei
        76
    peterpei  
       2022-03-05 13:58:04 +08:00
    或者租个大盘鸡用 bypy
    然后就开个百度会员
    levenwindy
        77
    levenwindy  
       2022-03-05 19:46:10 +08:00 via Android
    @SenLief 跑不了,联通跑 onedrive 可能快一点,但是电信 200k~500k ,高峰期 50k 都有可能
    wanwaneryide
        78
    wanwaneryide  
       2022-03-07 08:49:17 +08:00
    @laqow 又不是一个文件就 20T ,现在网盘一般都有个 4 5T 的样子,下载到网盘里面的就直接下载到本地,然后删除网盘里面的文件不行嘛
    laqow
        79
    laqow  
    OP
       2022-03-07 10:56:15 +08:00
    感谢各位帮忙。问了一下电信现在没有流量限制了,应该挂着下数据量大也不会直接封号,但掉速是难免的,我估计是 TCP 协议和电信一些小动作。
    @HiLyy 这个牛逼了
    @PatrickLe 这根本导不出来啊
    @peterpei 不是 range ,是分好块的多个文件。对方提供的程序就是根据用户名设备在本地算个 hash ,类似 http://.../?hash=..&part=..这样,只是请求参数放 POST 了,然后大概是不支持 range 了。感觉网盘应该没办法直接用 POST 请求,提速方法感觉还是需要找个好的线路或者中介 VPS 。不过好在一个块只有 300M ,把 hash 抓包下来用 curl 伪造一下可以实现多个 300M 同时下载。
    @celeron533 只可惜没这样的同学,也没有直接寄硬盘的服务
    @windyskr 终于知道这个盒子是什么了
    ghostwwg
        80
    ghostwwg  
       2022-03-07 17:34:53 +08:00
    迅雷行不行。。可以的话买个 VIP
    peterpei
        81
    peterpei  
       2022-03-07 23:07:14 +08:00
    @laqow
    “用户名设备在本地算个 hash” 这个 hash 是不变的吗?
    不变的话只需要分段 POST part 就可以拿对应的直链了吧
    拿到直链之后看看支不支持 range ,支持的话感觉 aria2 这种都能跑满
    Chrisone
        82
    Chrisone  
       2022-03-08 09:27:06 +08:00
    文件完整性检查就头疼,物理介质带回来吧
    endy
        83
    endy  
       2022-03-08 15:27:17 +08:00
    申请多几个阿里云盘。。。不是不限速吗。/狗头
    siparadise
        84
    siparadise  
       2022-03-14 16:58:48 +08:00
    方案 1:即使弄个不限量的机场,对方搭个 apache 服务器,按 10MB/s 的速度一天最多也就下个 800G 左右,保守点 500GB ,也得 40 天左右才能传完,且不说运营商看你流量大封你宽带。方案 2:硬盘对拷再寄硬盘回来。
    Zinzin
        85
    Zinzin  
       2022-03-15 23:35:59 +08:00
    有保密需求的话还是 btsync 吧
    laqow
        86
    laqow  
    OP
       2022-03-16 15:19:49 +08:00
    现在在家里电信下开始大概 100G 有 20MB/s 后面慢慢掉到 250kB/s 。但同时连其他国外地址地址的速度没有明显降,不知道是哪里降的速度。
    bbsingao
        87
    bbsingao  
       2022-03-17 15:24:24 +08:00
    很明显是国外服务器自己降速了. 怎么可能长时间全速提供给一个 client .
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   999 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 21:35 · PVG 05:35 · LAX 14:35 · JFK 17:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.