七牛这个批量下载 绝了!

2021-05-12 18:25:51 +08:00
 dingdangnao

刚才去七牛想把对象存储的东西迁移到别家,因为东西也不是很多,就想直接用 web 把文件都下载就好了。。

看了一下文件列表可以全选,而且还有批量下载,

我以为是会生成一个压缩包(像 baidu 网盘一样)

结果竟然是一个文件开一个新标签。。

绝了!

3940 次点击
所在节点    分享发现
18 条回复
opengps
2021-05-12 18:34:06 +08:00
七牛只是对象存储,说到底只是硬盘跟网络的组合,cpu 使用很低,打成压缩包是需要额外 cpu 资源的,有成本
ch2
2021-05-12 18:35:33 +08:00
如果一个功能设计出来就很难用,其实就是不希望你去用
dingdangnao
2021-05-12 18:42:58 +08:00
@ch2 确实可能不是这么用的,但是给一个限制 比如小于 10 个 20 个文件才能批量下载啥的 会比较好一点吧。。
pigmen
2021-05-12 18:47:43 +08:00
确实有点坑,之前想删个 bucket,结果里面 8 亿多个文件我要一个一个删掉才能删掉这个 bucket 。。。。
xmumiffy
2021-05-12 19:03:30 +08:00
所有 oss 都兼容 aws 格式,找个 aws 客户端转就行了
shoaly
2021-05-12 19:14:26 +08:00
@pigmen 应该是要鼓励用接口先删除的
dingdangnao
2021-05-12 19:28:44 +08:00
@xmumiffy 一共就几百个文件,没想那么麻烦😂
aureole999
2021-05-12 20:17:29 +08:00
@opengps 只用 tar 归档的话好像用不了太多 CPU ?
opengps
2021-05-12 20:23:45 +08:00
@aureole999 我换个说法你就理解我说的意思了,对象存储约等于没有 cpu,所以想要实现打包服务,本身已经算额外的资源了
codehz
2021-05-12 21:14:48 +08:00
(也不是不可以前端压缩,反正都要下载完整的(
BeautifulSoap
2021-05-12 21:22:47 +08:00
赞同 1L,2L 的说法,有的功能真的就是实在不想做,但是为了应付那种“你可以做的烂但不能没有”的人的需求的才勉强做的
horseInBlack
2021-05-12 21:35:16 +08:00
有 API 接口的,官方也有命令行工具,但是走的就是你自己的流量了,可能会产生额外的流量费用
locoz
2021-05-12 23:10:02 +08:00
对象存储都这样吧…毕竟服务器上打包的话还得准备点缓存空间给你用,和对象存储得是分开的另一套东西了,成本会增加,使用率还不一定高。像阿里云是通过提供客户端的方式来解决的,批量下载的时候客户端会自己控制并发量之类的排队下载。
x86
2021-05-12 23:40:36 +08:00
七牛有 API 可以打包的呀
no1xsyzy
2021-05-12 23:47:04 +08:00
@aureole999 @opengps 先不要说 CPU,这个功能首先有人写吧!

而且整体而言是存储和流量收费,这样一个功能可能拿来 DoS ( L7 ?这我分不清 L 了)
比如上传十个随机数据文件,并且以 2^10-1 种方式要求数据,并瞬间断开链接,瞬间就是 1023 倍的存储放大和大量的空耗 CPU 。流式处理的话可能缓解一点,但也免不了很多问题。
cxsz
2021-05-13 15:10:48 +08:00
七牛用官方提供的 sdk,调用 api 可以批量下载
kxuanobj
2021-05-13 15:14:32 +08:00
@opengps 可以前端用 JS 搞。。用客户的 CPU
opengps
2021-05-13 22:04:18 +08:00
@kxuanobj 客户端压缩没多大意义了,已经下载到本地了,何必再去 js 打包一下,何况压缩环节占用的 cpu 并不少
@no1xsyzy 对比下文叔叔,就是用的各家的对象存储,压缩是用了额外的云服务器来做的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/776552

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX