首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

有什么办法可以实现大文件传输.

  •  1
     
  •   CatSan · 5 天前 · 2897 次点击

    是这样的我们有个影视团队 是远程团队 每次素材拍摄完 要上传到网盘 对面在下载制作发布 但是目前有个很大的问题就是 素材的上传与下载浪费时间太多了 一般素材都是以 T 来计量的 最小也得有 400 多 G 所以这样很浪费时间

    之前问过 NAS 但是 NAS 上传可以解决掉 远程下载需要本地的上传速率达标 才能下载的快些 以国内的网络情况来说 上传速率都是被限制的

    各位有什么其他好的方法 可以提高工作效率吗?

    第 1 条附言  ·  5 天前
    忘记说距离了

    拍摄团队在英国、日本、加拿大、缅甸

    制作团队在国内
    70 回复  |  直到 2018-07-17 18:11:09 +08:00
        1
    CatSan   5 天前
    或者有什么样的软件可以远程控制电脑?加密的 点对点的最好
        2
    catror   5 天前 via Android
    远程是多远?都在国内大城市的话,快递走空运吧
        3
    CatSan   5 天前
    @catror 拍摄团队在英国 制作团队在中国
        4
    xiaozecn   5 天前 via Android
    BT 是个很好的方法
        5
    CatSan   5 天前
    @xiaozecn 不现实小了还行 大了 3T 的文件啊
        6
    catror   5 天前 via Android
    @CatSan 远程控制软件的话,可以用 teamviewer,但是操作肯定不如本地,而且有图像质量损失。
        7
    Backlitz   5 天前 via Android   ♥ 1
    @CatSan 3TB 对于 BT 来说不一定会很困难,拍摄团队打包做种后弄几台欧洲盒子分下流,到国内速度还是可以的。
        8
    Tink   5 天前 via iPhone
    资源提供方的上行永远都是硬性的条件,这个突破不了不管什么软件都没法
        9
    luob   5 天前
    试试古老的。。。FTP ?
        10
    yao990   5 天前 via Android   ♥ 1
    推荐 verysync,经过我这几天的实践,发现效果相当不错。
        11
    alvin666   5 天前 via Android
    @luob 协议不是问题吧,问题是 isp 的选择
        12
    STRRL   5 天前 via Android
    去拉专线或者空运
        13
    CatSan   5 天前   ♥ 1
    @STRRL 国外到国内
        14
    CatSan   5 天前
    @yao990 微力同步?
        15
    mv0x   5 天前
    你可以用阿里云的 oss 之类的试一下,google 的云存储之类的,他们内部有优化。
        16
    yao990   5 天前 via Android
    @CatSan 是的,我这几天一直在用,很好用,只要网够好,可以一直保持满速
        17
    CatSan   5 天前
    @mv0x 谷歌的云储存不现实 文件太大 挂着科技下载那流量也受不了啊
        18
    vazo   5 天前
    用钱能解决的问题都不是问题
        19
    vazo   5 天前
    补充下,你的问题在于上传下载的网速。
        20
    caola   5 天前
    @CatSan 如果有外网 IP 建议直接用 linux 自带的 rsync , 一条命令的事情。当然也可以使用 BitTorrent Sync 来同步
        21
    kslr   5 天前
    这个距离是实在是太远了,我觉得没有比航班更快了。
    另外我也很好奇一般这种情况像 CCTV BBC 该怎么做
        22
    WindSays   5 天前
    @kslr 他们租用卫星嘛我想问?也许就是租用卫星。美剧里不是说卫星的速度超快嘛。
        23
    kslr   5 天前
    @WindSays #22 那首先是你要足够好的地面站吧
        24
    CatSan   5 天前
    @kslr 我所知道的一些 BBC 他们是有专门的剪辑工作车的 可以实时传输的
        25
    alvin666   5 天前 via Android
    @CatSan 那种一般是卫星,太贵了,我觉得 bt 的方法靠谱,七楼说的就可以,查一下国内到比如说英国的光纤,在每个沿途节点多买几台 seedbox,应该会很快,跑起来千兆应该能跑满
        26
    yosolin   5 天前 via iPhone
    用的是家庭宽带?家庭宽带上行速度一般就 2M,硬限制了,软件没法突破了。去办理个企业宽带吧,或者借用别人的
        27
    yosolin   5 天前 via iPhone
    或用专线
        28
    jq8778   5 天前 via iPhone
    硬件拷贝,国际快递。最快那种空运。
        29
    SuperMild   5 天前   ♥ 1
    压缩小样片看内容,剪几个未压缩片段看画质,最后确认阶段用快递发硬盘。
        30
    20has   5 天前 via Android
    这种情况明显是 快递比网传好
        31
    msg7086   5 天前
    之前在纽约往中国寄了个顺丰快递,很便宜,像是硬盘这种小巧轻便的设备,三四十刀之内就能搞定(不确定,但是应该更便宜而不是更贵),空运时效也还可以。

    纯粹用网速来解决不一定是个便宜的方案,考虑到你需要为世界各地的团队都配上高速网络套餐,还要考虑跨国时候的专线带宽,价格涨得飞快的。
        32
    dko   5 天前
    副导演选好镜头,跟团队的把镜头号对上传过去,如果素材不行就单独再补,全部的素材等最终版的时候再做汇总就好了。

    (楼上的建议是很不错,但是完全不了解影视。。。)
        33
    ksyson   5 天前 via Android
    镭速云,之前看到的。
    https://www.raysync.cn
        34
    ETiV   5 天前 via iPhone
    联系联系 aws、gcp 的商务,看看能不能把数据通过硬盘,带到他们机房,完成上传。

    国内优先通过机房的网络拉回来( upyun 有那种异步下载远程文件的接口),然后再从国内下载
        35
    1423   5 天前
    题目没看懂
    之前是“上传到网盘”,具体是哪个网盘?上传速度多少?可以讲一下么
    “ NAS 上传可以解决掉” 为什么? NAS 上传就快了么?
        36
    zwy100e72   5 天前   ♥ 1
    如果我来搭建这套方案,我选择 BitTorrent Sync

    1. 欧洲机房买一个 VPS,国内机房买一个 VPS ;假设制作团队和拍摄团队都有本地服务器用于文件共享。
    2. 拍摄团队先把所有素材放到本地服务器上,通过 BitTorrent Sync 持续不断的上传;
    3. VPS 节点可以一边同步一边上传给国内本地服务器;当所有数据都完整的传输过一次时,国内服务器也就同步完了。

    当然最终还是受到拍摄团队的上行带宽限制,10MB/s 一整天也只能传输 864GB。
    因此需要预先统计好每天产生的素材体积大小,折算成带宽才行。
        37
    xwyam   5 天前 via Android
    之前好像看到过一个资料显示,目前超大量数据传输最快的应该就是大卡车拉着满车硬盘了~( ̄▽ ̄~)
        38
    ryd994   5 天前 via Android
    永远不要低估一卡车硬盘在高速公路上飞驰的带宽
        39
    F2Sky   5 天前
    1、寻求技术途径解决;(瓶颈在网络带宽)
    2、寻求非技术途径解决;(例如上面提到的影视制作方法、流程之类的)
    这种情况可能非技术途径的效果更明显。
        40
    Totato5749   5 天前
    @ryd994 磁带 23333
        41
    daigouspy   5 天前 via Android
    去本地的网吧上传到 Google 啊!
        42
    mogging   5 天前 via Android
    硬盘快递最廉价,aws 都出货车了
        43
    limbo0   5 天前 via Android
    谷歌的解决办法就是快递
        44
    Kagari   5 天前 via Android
    搬到深圳,然后每天从香港带装了前一天数据的硬盘过来
        46
    ladypxy   5 天前
    最简单的办法是 Windows AD 的 DFS
    直接把文件用 winrar 拆成 100M 一个小包,然后 DFS 同步即可。效率很高还不出错
        47
    ZE3kr   5 天前 via iPhone
    空运如果有直达航班并且海关顺利,较贵的 UPS、DHL 选项应该能 1-3 天到货。运费由选择的时效、距离和重量决定,大概 300-800。

    如果 >10T 考虑一下空运
        48
    formose   5 天前
    国内制作团队远程办公,楼上的 teamviewer 不错,就是不知道用起制作软件来会不会甩得难看~
        49
    GoPython   5 天前
    我记得,国内电信的上行好像是可以申请提速的(记得当年我们学校租的电信,带宽出口上行下行速度一致)。

    邮寄硬盘最快也得两三天的话。如果每次都是 2-3T 这样的量的话,其实可以把带宽拉大点。前几天都有帖子说光纤速度提速到 300M 了。可以去申请下把带宽上行提速,至少,交钱应该是可以的,然后晚上下载,带宽基本跑满的话,不用几个小时就可以了。快递也会有损坏,丢失的可能。

    如果都是超过了 10 几 T 的话,可能还是快递硬盘快点了。
        50
    20015jjw   5 天前 via Android
    我觉得 Google drive ez..
        51
    429463267   5 天前
    我在上传一个 20G Mysql 数据库备份的 sql 脚本文件到谷歌云数据库的过程中也放弃了,因为我的宽带根本不可能满足上传 20G 的文件(上传速度 50KB/s ),所以还有更好的办法吗?
    ![]( http://p7fcrq2e4.bkt.clouddn.com/201818142336-20180714_233640.png)
        52
    429463267   5 天前
    @ksyson

    官方给的激活码无效
        53
    wangfei324017   5 天前
    微软 onedrive 呢?
        54
    xiaozecn   5 天前 via Android
    我觉得除了快递。可以这么试试:按照之前 BT 的方法。两边都用 NAS,利用两边空闲的时差来传文件。无法解决上传带宽的问题的话,可以试试用两条以上民用宽带做种啊,是不是。
        55
    yanqing07   5 天前
    算算 400T/10Mb 上传,然后下载 400T/100Mb 两个时间总和。如果比快递慢就直接快递好了
        56
    qwlhappy   5 天前
    有句话怎么说的来着
    永远也不要低估一辆满载硬盘的货车的带宽
        57
    daigouspy   5 天前 via Android
    @429463267 你就不会拿到附近的网吧上传吗?
        58
    Vneix   5 天前
    分卷压缩,上传后比对一下 MD5
    几台十几台电脑一起上传
        59
    LoliconInside   5 天前
    rsync 算法可以做到只传输变化的部分
        60
    lihongjie0209   5 天前
    @mv0x #15 你算过 oss 的流量费吗
        61
    Kirscheis   5 天前
    磁带空运,之前都是这么处理从国外过来的监控数据集的。平均一天传几十 TB 绰绰有余。租磁带机和买磁带也不贵

    靠网络的话,就算你一路打通万兆网,10 Gbps 每天极限也就 80TB
        62
    abmin521   4 天前 via Android
    典型的 x y 问题 倒不如改善 rdp 的网络质量 开个网络加速之类的

    问题是素材只有一份,说 bt 的真的能改善多少吗?限制始终是带宽

    当然大文件传输也可能是未来会遇到的问题,那时候应该会诞生更好的压缩算法,更强的 cpu,更大的带宽
        63
    CatSan   4 天前
    @vazo
    @caola
    @abmin521
    @Kirscheis
    @LoliconInside
    @Vneix
    @yanqing07
    @429463267
    @GoPython
    @zwy100e72
    @GoPython
    @msg7086
    感谢各位的热情回答 目前我们团队的解决方案是发顺丰国际快递 邮递硬盘 每次寄件之前攒三部片子的压缩素材 一共 50T 用 5 块 10T 机械硬盘带回来 之后我们在邮寄回去 目前邮寄成本控制在了 150USD 左右 暂时先这样解决吧

    至于为什么不优先考虑快递邮寄 是因为数据过大 硬盘在邮寄路上会有损坏 如果损坏一块 那损失就大了
        64
    429463267   4 天前
    @CatSan

    5 块硬盘可以组 raid5 来保证数据的安全性,不过本穷逼没有这么多的硬盘实测过
        65
    CatSan   4 天前
    @429463267 我们这里有阵列 到时候直接插上就行了
        66
    dreamage   4 天前
    看下格物资讯之前发的视频 他们使用二级运营商 内网跑满带宽
        67
    dreamage   4 天前
    呃 刚看到追加 :(
        68
    msg7086   3 天前
    正常打包硬盘,包装合理的话,硬盘应该不会那么轻易损坏的。
        69
    LoliconInside   2 天前
    @CatSan 如果能接受成本增加的话,多弄点盘组 RAID50,连 RAID 卡一起打包发过来,坏个一两块盘不要紧。
        70
    dif   2 天前
    Google 就能解决,无限空间不够用么?既然都拍电影啥的了,还缺个 FQ 的机器么?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   实用小工具   ·   2958 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 19ms · UTC 03:02 · PVG 11:02 · LAX 20:02 · JFK 23:02
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1