首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
华为云
V2EX  ›  问与答

有什么办法可以实现大文件传输.

  •  1
     
  •   CatSan · 128 天前 · 3688 次点击
    这是一个创建于 128 天前的主题,其中的信息可能已经有所发展或是发生改变。

    是这样的我们有个影视团队 是远程团队 每次素材拍摄完 要上传到网盘 对面在下载制作发布 但是目前有个很大的问题就是 素材的上传与下载浪费时间太多了 一般素材都是以 T 来计量的 最小也得有 400 多 G 所以这样很浪费时间

    之前问过 NAS 但是 NAS 上传可以解决掉 远程下载需要本地的上传速率达标 才能下载的快些 以国内的网络情况来说 上传速率都是被限制的

    各位有什么其他好的方法 可以提高工作效率吗?

    第 1 条附言  ·  128 天前
    忘记说距离了

    拍摄团队在英国、日本、加拿大、缅甸

    制作团队在国内
    71 回复  |  直到 2018-08-29 18:46:44 +08:00
        1
    CatSan   128 天前
    或者有什么样的软件可以远程控制电脑?加密的 点对点的最好
        2
    catror   128 天前 via Android
    远程是多远?都在国内大城市的话,快递走空运吧
        3
    CatSan   128 天前
    @catror 拍摄团队在英国 制作团队在中国
        4
    xiaozecn   128 天前 via Android
    BT 是个很好的方法
        5
    CatSan   128 天前
    @xiaozecn 不现实小了还行 大了 3T 的文件啊
        6
    catror   128 天前 via Android
    @CatSan 远程控制软件的话,可以用 teamviewer,但是操作肯定不如本地,而且有图像质量损失。
        7
    Backlitz   128 天前 via Android   ♥ 1
    @CatSan 3TB 对于 BT 来说不一定会很困难,拍摄团队打包做种后弄几台欧洲盒子分下流,到国内速度还是可以的。
        8
    Tink   128 天前 via iPhone
    资源提供方的上行永远都是硬性的条件,这个突破不了不管什么软件都没法
        9
    luob   128 天前
    试试古老的。。。FTP ?
        10
    yao990   128 天前 via Android   ♥ 1
    推荐 verysync,经过我这几天的实践,发现效果相当不错。
        11
    alvin666   128 天前 via Android
    @luob 协议不是问题吧,问题是 isp 的选择
        12
    STRRL   128 天前 via Android
    去拉专线或者空运
        13
    CatSan   128 天前   ♥ 1
    @STRRL 国外到国内
        14
    CatSan   128 天前
    @yao990 微力同步?
        15
    mv0x   128 天前
    你可以用阿里云的 oss 之类的试一下,google 的云存储之类的,他们内部有优化。
        16
    yao990   128 天前 via Android
    @CatSan 是的,我这几天一直在用,很好用,只要网够好,可以一直保持满速
        17
    CatSan   128 天前
    @mv0x 谷歌的云储存不现实 文件太大 挂着科技下载那流量也受不了啊
        18
    vazo   128 天前
    用钱能解决的问题都不是问题
        19
    vazo   128 天前
    补充下,你的问题在于上传下载的网速。
        20
    caola   128 天前
    @CatSan 如果有外网 IP 建议直接用 linux 自带的 rsync , 一条命令的事情。当然也可以使用 BitTorrent Sync 来同步
        21
    kslr   128 天前   ♥ 1
    这个距离是实在是太远了,我觉得没有比航班更快了。
    另外我也很好奇一般这种情况像 CCTV BBC 该怎么做
        22
    WindSays   128 天前
    @kslr 他们租用卫星嘛我想问?也许就是租用卫星。美剧里不是说卫星的速度超快嘛。
        23
    kslr   128 天前
    @WindSays #22 那首先是你要足够好的地面站吧
        24
    CatSan   128 天前
    @kslr 我所知道的一些 BBC 他们是有专门的剪辑工作车的 可以实时传输的
        25
    alvin666   128 天前 via Android
    @CatSan 那种一般是卫星,太贵了,我觉得 bt 的方法靠谱,七楼说的就可以,查一下国内到比如说英国的光纤,在每个沿途节点多买几台 seedbox,应该会很快,跑起来千兆应该能跑满
        26
    yosolin   128 天前 via iPhone
    用的是家庭宽带?家庭宽带上行速度一般就 2M,硬限制了,软件没法突破了。去办理个企业宽带吧,或者借用别人的
        27
    yosolin   128 天前 via iPhone
    或用专线
        28
    jq8778   128 天前 via iPhone
    硬件拷贝,国际快递。最快那种空运。
        29
    SuperMild   128 天前   ♥ 1
    压缩小样片看内容,剪几个未压缩片段看画质,最后确认阶段用快递发硬盘。
        30
    20has   128 天前 via Android
    这种情况明显是 快递比网传好
        31
    msg7086   128 天前
    之前在纽约往中国寄了个顺丰快递,很便宜,像是硬盘这种小巧轻便的设备,三四十刀之内就能搞定(不确定,但是应该更便宜而不是更贵),空运时效也还可以。

    纯粹用网速来解决不一定是个便宜的方案,考虑到你需要为世界各地的团队都配上高速网络套餐,还要考虑跨国时候的专线带宽,价格涨得飞快的。
        32
    dko   128 天前
    副导演选好镜头,跟团队的把镜头号对上传过去,如果素材不行就单独再补,全部的素材等最终版的时候再做汇总就好了。

    (楼上的建议是很不错,但是完全不了解影视。。。)
        33
    ksyson   128 天前 via Android   ♥ 1
    镭速云,之前看到的。
    https://www.raysync.cn
        34
    ETiV   128 天前 via iPhone
    联系联系 aws、gcp 的商务,看看能不能把数据通过硬盘,带到他们机房,完成上传。

    国内优先通过机房的网络拉回来( upyun 有那种异步下载远程文件的接口),然后再从国内下载
        35
    1423   128 天前
    题目没看懂
    之前是“上传到网盘”,具体是哪个网盘?上传速度多少?可以讲一下么
    “ NAS 上传可以解决掉” 为什么? NAS 上传就快了么?
        36
    zwy100e72   128 天前   ♥ 1
    如果我来搭建这套方案,我选择 BitTorrent Sync

    1. 欧洲机房买一个 VPS,国内机房买一个 VPS ;假设制作团队和拍摄团队都有本地服务器用于文件共享。
    2. 拍摄团队先把所有素材放到本地服务器上,通过 BitTorrent Sync 持续不断的上传;
    3. VPS 节点可以一边同步一边上传给国内本地服务器;当所有数据都完整的传输过一次时,国内服务器也就同步完了。

    当然最终还是受到拍摄团队的上行带宽限制,10MB/s 一整天也只能传输 864GB。
    因此需要预先统计好每天产生的素材体积大小,折算成带宽才行。
        37
    xwyam   128 天前 via Android
    之前好像看到过一个资料显示,目前超大量数据传输最快的应该就是大卡车拉着满车硬盘了~( ̄▽ ̄~)
        38
    ryd994   128 天前 via Android
    永远不要低估一卡车硬盘在高速公路上飞驰的带宽
        39
    F2Sky   128 天前
    1、寻求技术途径解决;(瓶颈在网络带宽)
    2、寻求非技术途径解决;(例如上面提到的影视制作方法、流程之类的)
    这种情况可能非技术途径的效果更明显。
        40
    Totato5749   128 天前
    @ryd994 磁带 23333
        41
    daigouspy   128 天前 via Android
    去本地的网吧上传到 Google 啊!
        42
    mogging   128 天前 via Android
    硬盘快递最廉价,aws 都出货车了
        43
    limbo0   128 天前 via Android
    谷歌的解决办法就是快递
        44
    Kagari   128 天前 via Android
    搬到深圳,然后每天从香港带装了前一天数据的硬盘过来
        46
    ladypxy   128 天前
    最简单的办法是 Windows AD 的 DFS
    直接把文件用 winrar 拆成 100M 一个小包,然后 DFS 同步即可。效率很高还不出错
        47
    ZE3kr   128 天前 via iPhone
    空运如果有直达航班并且海关顺利,较贵的 UPS、DHL 选项应该能 1-3 天到货。运费由选择的时效、距离和重量决定,大概 300-800。

    如果 >10T 考虑一下空运
        48
    formose   128 天前
    国内制作团队远程办公,楼上的 teamviewer 不错,就是不知道用起制作软件来会不会甩得难看~
        49
    GoPython   128 天前
    我记得,国内电信的上行好像是可以申请提速的(记得当年我们学校租的电信,带宽出口上行下行速度一致)。

    邮寄硬盘最快也得两三天的话。如果每次都是 2-3T 这样的量的话,其实可以把带宽拉大点。前几天都有帖子说光纤速度提速到 300M 了。可以去申请下把带宽上行提速,至少,交钱应该是可以的,然后晚上下载,带宽基本跑满的话,不用几个小时就可以了。快递也会有损坏,丢失的可能。

    如果都是超过了 10 几 T 的话,可能还是快递硬盘快点了。
        50
    20015jjw   128 天前 via Android
    我觉得 Google drive ez..
        51
    429463267   128 天前
    我在上传一个 20G Mysql 数据库备份的 sql 脚本文件到谷歌云数据库的过程中也放弃了,因为我的宽带根本不可能满足上传 20G 的文件(上传速度 50KB/s ),所以还有更好的办法吗?
    ![]( http://p7fcrq2e4.bkt.clouddn.com/201818142336-20180714_233640.png)
        52
    429463267   128 天前
    @ksyson

    官方给的激活码无效
        53
    wangfei324017   128 天前
    微软 onedrive 呢?
        54
    xiaozecn   128 天前 via Android
    我觉得除了快递。可以这么试试:按照之前 BT 的方法。两边都用 NAS,利用两边空闲的时差来传文件。无法解决上传带宽的问题的话,可以试试用两条以上民用宽带做种啊,是不是。
        55
    yanqing07   128 天前
    算算 400T/10Mb 上传,然后下载 400T/100Mb 两个时间总和。如果比快递慢就直接快递好了
        56
    qwlhappy   128 天前
    有句话怎么说的来着
    永远也不要低估一辆满载硬盘的货车的带宽
        57
    daigouspy   127 天前 via Android
    @429463267 你就不会拿到附近的网吧上传吗?
        58
    Vneix   127 天前
    分卷压缩,上传后比对一下 MD5
    几台十几台电脑一起上传
        59
    LoliconInside   127 天前
    rsync 算法可以做到只传输变化的部分
        60
    lihongjie0209   127 天前
    @mv0x #15 你算过 oss 的流量费吗
        61
    Kirscheis   127 天前
    磁带空运,之前都是这么处理从国外过来的监控数据集的。平均一天传几十 TB 绰绰有余。租磁带机和买磁带也不贵

    靠网络的话,就算你一路打通万兆网,10 Gbps 每天极限也就 80TB
        62
    abmin521   127 天前 via Android
    典型的 x y 问题 倒不如改善 rdp 的网络质量 开个网络加速之类的

    问题是素材只有一份,说 bt 的真的能改善多少吗?限制始终是带宽

    当然大文件传输也可能是未来会遇到的问题,那时候应该会诞生更好的压缩算法,更强的 cpu,更大的带宽
        63
    CatSan   126 天前
    @vazo
    @caola
    @abmin521
    @Kirscheis
    @LoliconInside
    @Vneix
    @yanqing07
    @429463267
    @GoPython
    @zwy100e72
    @GoPython
    @msg7086
    感谢各位的热情回答 目前我们团队的解决方案是发顺丰国际快递 邮递硬盘 每次寄件之前攒三部片子的压缩素材 一共 50T 用 5 块 10T 机械硬盘带回来 之后我们在邮寄回去 目前邮寄成本控制在了 150USD 左右 暂时先这样解决吧

    至于为什么不优先考虑快递邮寄 是因为数据过大 硬盘在邮寄路上会有损坏 如果损坏一块 那损失就大了
        64
    429463267   126 天前
    @CatSan

    5 块硬盘可以组 raid5 来保证数据的安全性,不过本穷逼没有这么多的硬盘实测过
        65
    CatSan   126 天前
    @429463267 我们这里有阵列 到时候直接插上就行了
        66
    dreamage   126 天前
    看下格物资讯之前发的视频 他们使用二级运营商 内网跑满带宽
        67
    dreamage   126 天前
    呃 刚看到追加 :(
        68
    msg7086   126 天前
    正常打包硬盘,包装合理的话,硬盘应该不会那么轻易损坏的。
        69
    LoliconInside   125 天前
    @CatSan 如果能接受成本增加的话,多弄点盘组 RAID50,连 RAID 卡一起打包发过来,坏个一两块盘不要紧。
        70
    dif   125 天前
    Google 就能解决,无限空间不够用么?既然都拍电影啥的了,还缺个 FQ 的机器么?
        71
    qanniu   82 天前 via Android
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   993 人在线   最高记录 3821   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 25ms · UTC 17:57 · PVG 01:57 · LAX 09:57 · JFK 12:57
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1