V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dingdangnao
V2EX  ›  分享发现

七牛这个批量下载 绝了!

  •  
  •   dingdangnao · 2021-05-12 18:25:51 +08:00 · 3903 次点击
    这是一个创建于 1051 天前的主题,其中的信息可能已经有所发展或是发生改变。

    刚才去七牛想把对象存储的东西迁移到别家,因为东西也不是很多,就想直接用 web 把文件都下载就好了。。

    看了一下文件列表可以全选,而且还有批量下载,

    我以为是会生成一个压缩包(像 baidu 网盘一样)

    结果竟然是一个文件开一个新标签。。

    绝了!

    18 条回复    2021-05-13 22:04:18 +08:00
    opengps
        1
    opengps  
       2021-05-12 18:34:06 +08:00   ❤️ 2
    七牛只是对象存储,说到底只是硬盘跟网络的组合,cpu 使用很低,打成压缩包是需要额外 cpu 资源的,有成本
    ch2
        2
    ch2  
       2021-05-12 18:35:33 +08:00
    如果一个功能设计出来就很难用,其实就是不希望你去用
    dingdangnao
        3
    dingdangnao  
    OP
       2021-05-12 18:42:58 +08:00
    @ch2 确实可能不是这么用的,但是给一个限制 比如小于 10 个 20 个文件才能批量下载啥的 会比较好一点吧。。
    pigmen
        4
    pigmen  
       2021-05-12 18:47:43 +08:00
    确实有点坑,之前想删个 bucket,结果里面 8 亿多个文件我要一个一个删掉才能删掉这个 bucket 。。。。
    xmumiffy
        5
    xmumiffy  
       2021-05-12 19:03:30 +08:00 via Android
    所有 oss 都兼容 aws 格式,找个 aws 客户端转就行了
    shoaly
        6
    shoaly  
       2021-05-12 19:14:26 +08:00
    @pigmen 应该是要鼓励用接口先删除的
    dingdangnao
        7
    dingdangnao  
    OP
       2021-05-12 19:28:44 +08:00
    @xmumiffy 一共就几百个文件,没想那么麻烦😂
    aureole999
        8
    aureole999  
       2021-05-12 20:17:29 +08:00
    @opengps 只用 tar 归档的话好像用不了太多 CPU ?
    opengps
        9
    opengps  
       2021-05-12 20:23:45 +08:00
    @aureole999 我换个说法你就理解我说的意思了,对象存储约等于没有 cpu,所以想要实现打包服务,本身已经算额外的资源了
    codehz
        10
    codehz  
       2021-05-12 21:14:48 +08:00 via Android
    (也不是不可以前端压缩,反正都要下载完整的(
    BeautifulSoap
        11
    BeautifulSoap  
       2021-05-12 21:22:47 +08:00
    赞同 1L,2L 的说法,有的功能真的就是实在不想做,但是为了应付那种“你可以做的烂但不能没有”的人的需求的才勉强做的
    horseInBlack
        12
    horseInBlack  
       2021-05-12 21:35:16 +08:00
    有 API 接口的,官方也有命令行工具,但是走的就是你自己的流量了,可能会产生额外的流量费用
    locoz
        13
    locoz  
       2021-05-12 23:10:02 +08:00 via Android
    对象存储都这样吧…毕竟服务器上打包的话还得准备点缓存空间给你用,和对象存储得是分开的另一套东西了,成本会增加,使用率还不一定高。像阿里云是通过提供客户端的方式来解决的,批量下载的时候客户端会自己控制并发量之类的排队下载。
    x86
        14
    x86  
       2021-05-12 23:40:36 +08:00
    七牛有 API 可以打包的呀
    no1xsyzy
        15
    no1xsyzy  
       2021-05-12 23:47:04 +08:00
    @aureole999 @opengps 先不要说 CPU,这个功能首先有人写吧!

    而且整体而言是存储和流量收费,这样一个功能可能拿来 DoS ( L7 ?这我分不清 L 了)
    比如上传十个随机数据文件,并且以 2^10-1 种方式要求数据,并瞬间断开链接,瞬间就是 1023 倍的存储放大和大量的空耗 CPU 。流式处理的话可能缓解一点,但也免不了很多问题。
    cxsz
        16
    cxsz  
       2021-05-13 15:10:48 +08:00
    七牛用官方提供的 sdk,调用 api 可以批量下载
    kxuanobj
        17
    kxuanobj  
       2021-05-13 15:14:32 +08:00
    @opengps 可以前端用 JS 搞。。用客户的 CPU
    opengps
        18
    opengps  
       2021-05-13 22:04:18 +08:00
    @kxuanobj 客户端压缩没多大意义了,已经下载到本地了,何必再去 js 打包一下,何况压缩环节占用的 cpu 并不少
    @no1xsyzy 对比下文叔叔,就是用的各家的对象存储,压缩是用了额外的云服务器来做的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1067 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 22:43 · PVG 06:43 · LAX 15:43 · JFK 18:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.