阿里云 OSS 删除文件有多慢

2022-06-30 17:44:24 +08:00
 admin268

阿里云 oss,上传嗖嗖的,上次说的下载拉胯,下载 5TB ,流量费好几千,现在发现删除更要命,1 秒大约删除 1000 个文件,5TB 存的图片,每个图片 10kb ,510241024*1024 ,53687 万个文件,536870 秒,大约 6.2 天,如果是 500TB ,删除文件就需要 620 天,大约 2 年。。。

删除方法(网页上点击根目录的一个文件夹,选择彻底删除,就是这么慢,其他方法没试过)

3458 次点击
所在节点    云计算
8 条回复
LeeReamond
2022-06-30 17:49:02 +08:00
我觉得你这个数据量需求也比较夸张,图片还要做到每秒 1000 的增删 io 已经挺快了。。
night98
2022-06-30 17:51:20 +08:00
Moker
2022-06-30 17:54:34 +08:00
设置生命周期 自己删除
jayin
2022-06-30 18:01:03 +08:00
用 ossutils
8520ccc
2022-06-30 18:23:32 +08:00
肯定要用 API 啊
nightwitch
2022-06-30 18:26:47 +08:00
删除规则

OSS 支持手动或者自动删除单个或多个文件,删除规则说明如下:

手动删除
删除单个文件

您可以通过 OSS 控制台、命令行工具 ossutil 、SDK 、图形化管理工具 ossbrowser 的方式删除单个文件。
删除多个文件

通过 OSS 控制台一次最多可删除 100 个文件,通过 SDK 一次最多可删除 1000 个文件,通过命令行工具 ossutil 以及图形化管理工具 ossbrowser 一次最多可删除的文件个数无限制。
自动删除

如果需要删除的文件数目较多,且删除的文件有一定的规律,例如需要定期删除指定日期之前的文件,指定前缀的文件,又或者需要清空整个 Bucket 内的所有文件。此时,推荐您配置生命周期规则自动删除文件。生命周期规则配置完成后,OSS 会根据规则自动删除指定文件,从而减少您发送删除请求的次数,以提高删除效率。更多信息,请参见生命周期规则介绍。
LoNeZ
2022-06-30 18:48:23 +08:00
问下 QPS 限制呗,看看能不能提高这个上限。
wsseo
2022-06-30 23:55:18 +08:00
不要用页面操作,批量删除甚至会卡死

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/863261

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX