脚本算法求解,备份轮替

2021-06-17 02:11:45 +08:00
 asdasdqqq
磁盘有 30Gb 的容量,有一份数据要进行备份,假设每天备份的容量是 1Gb,备份 30 天后磁盘空间满了,在后面每天都新增备份的情况下,要进行轮替,删除旧备份
轮替规则是最近 10 份数据每天 1 份,最近的 11-20 份数据每 2 天 1 份,最近的 21-30 份的数据每 4 天 1 份
如何编写脚本,python 或者 shell
1835 次点击
所在节点    Linux
12 条回复
asdasdqqq
2021-06-17 02:24:17 +08:00
也就是大概要保留 7 多天的历史数据
asdasdqqq
2021-06-17 02:24:51 +08:00
也就是大概要保留 70 多天的历史数据
eason1874
2021-06-17 03:01:18 +08:00
把备份日期放到备份文件名里,比如 backup-20210617.gz ,然后循环一把梭:

先取当天时间戳 time 减去 10 天秒数,然后循环 20 次,每次减 1 天秒数,就是从 11 天前循环到 30 天前。

循环的代码,判断当前时间的日期有没有备份文件,没有就直接 next,如果有就指定后续间隔次数,在前 10 次是 next+1,就是间隔一次,在后 10 次是 next+3,就是间隔三次,间隔期间的日期如果有对应文件就删除。
Ariver
2021-06-17 06:43:38 +08:00
压缩一下
可以保存大概 10 倍
junksheng
2021-06-17 07:53:10 +08:00
轮询删除加压缩,可以存很多
snownarrow
2021-06-17 09:27:49 +08:00
@Ariver 文档压缩才有这么高的压缩比吧,要是其他格式就难说,二进制的就直接压缩后几乎没变化
watcher
2021-06-17 10:59:24 +08:00
为啥不直接用系统的 logrotate 呢
Ariver
2021-06-17 11:00:33 +08:00
@snownarrow sorry, 我默认他说的是日志......
视频音频应该远大于 30g 吧
asdasdqqq
2021-06-17 12:03:42 +08:00
@watcher logrotate 只能设置每天保存或者每几天保存,不能设置近的每天保存远的每周保存这样的
julyclyde
2021-06-17 14:06:14 +08:00
@asdasdqqq 是吗?
autoxbc
2021-06-17 16:04:30 +08:00
因为刚好是 1-2-4,所有有个简单的解法;
设 A,B,C 三个数据集,每个容量为 10 ;
前一个溢出的,逢单抛掉,逢双压入下一级;
asdasdqqq
2021-06-18 02:42:49 +08:00
我的解法:
1 、计算出要保留的天数 1*10+2*20+3*10 =70,如果备份日期在 70 天前的删除
2 、从最早循环每个文件名
如果在 30 至 70 天前的,计算出总数,大于 11 份的,循环删掉相差小于 4 天最早的;(删除后 break,每天只删除 1 份)
如果在 10 至 30 天前的,计算出总数,大于 11 份的,循环删掉相差小于 2 天最早的;(删除后 break,每天只删除 1 份)

一个大循环(循环文件)+3 个小循环(判断相差天数)+若干判断(备份数,大于 11 份等)

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/783856

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX