聊聊备份集管理

[dennyzhang]

我们每天做核心数据的备份。接下来需要：
- 将备份集拷贝到远端，防止本地磁盘挂了
- 软删除老的备份集，以避磁盘空间被占满

用 shell 能实现，再想有没有开源的工具可以拿来用，避免写一些漏水的脚本。

Note: 我知道 S3 有很好的支持。但感觉有点重了，而且会 vendor lock.

[zhaoace]

Rsync?


以下摘自 wiki ：
rsync 是 Unix 下的一款应用软件，它能同步更新两处计算机的文件与目录，并适当利用差分编码以减少数据传输。 rsync 中一项与其他大部分类似程序或协议中所未见的重要特性是镜像对每个目标只需要一次发送。 rsync 可拷贝／显示目录内容，以及拷贝文件，并可选择性的压缩以及递归拷贝。

在常驻模式（ daemon mode ）下， rsync 默认监听 TCP 端口 873 ，以原生 rsync 传输协议或者通过远程 shell 如 RSH 或者 SSH 伺服文件。 SSH 情况下， rsync 客户端运行程序必须同时在本地和远程机器上安装。

rsync 是自由软件，以 GNU 通用公共许可证发行。

[zhaoace]

可能是我没抓住重点。

如果问题是往哪里丢： S3 / 七牛 / 阿里云存储 之类的可以考虑，国外环境的话 box/dropbox 也不是不行 。
如果有空间，问题是怎么丢，这时候再来看 rsync 。

嗓(pen)子比脑子快，见谅。。。

[dennyzhang]

rsync, scp, 都能解决问题。但是不是要自己来写些 glue scripts?

有没有什么 CLI 工具或类库，拿来自己改配置，而非 coding ，即可解决问题。

[dennyzhang]

Twin post: https://www.reddit.com/r/devops/comments/53fkkt/remote_copy_backupset_and_data_retention/

[likuku]

rsync + zfs + snapshot

[likuku]

想起来还有 Bacula 开源的备份软件

[likuku]

还有哥们的公司用商业的 梭子鱼 / Barracuda Backup 作备份，其实也很阳春...

[likuku]

google 搜 "开源 备份 工具" 就至少有半打的工具推荐

[chengxiao]

NAS 组 Raid5-6 ？应该不错，对企业来说成本也不高

[likuku]

@chengxiao RAID5-6 ，至少也得是纯软件来组，否则 RAID 卡停产后再坏掉了，那数据就完了。

没有几百万去买高端存储设备，那就 ZFS 组带冗余的 ZFS 存储池吧

[chengxiao]

@likuku 额你这考虑的太高端了.....我也比较推荐软 raid ，买个群晖几盘位看需求，自带 rsync 和各种 cloud sync ，可以同步至像 S3 等各种云服务，具体去群晖官网可以体验下 DSM6.0,看看是否能满足需求。

[chinni]

我自己 在用 borgbackup

https://github.com/borgbackup/borg/

[ryd994]

@chengxiao raid 不能代替离线备份
管理员手贱 /病毒 /软件 bug 破坏数据还少么

[chengxiao]

@ryd994 我的意思是备份机上 raid.....

[likuku]

@ryd994 所以才推荐 zfs 的 snapshot ，当然看来异地备份也是不可少了。