接近 1.8T 的含有大量小文件的数据备份方案

[huangya]

现在有个 2T 盘，接近有 1.8T 的数据，里面有大量小文件。现在想备份到一个 4T 的盘上去。因为是小文件，所以我倾向于直接使用 dd 命令克隆整个分区到 4T 。后续可能要使用工具或者命令增大这个分区。因为克隆上去，可能分区信息是 2T 盘的信息.将来使用 rsync 同步后面 2T 盘的数据变化。 但问题是现在 4T 的盘上也有接近１.5T 的数据。现在只能先把这 4T 盘里面的 1.5T 数据搬运到别处吗？等备份完 2T 盘里面的数据再搬回来吗？

[ZRS]

用 zfs send / recv

[novolunt]

小文件要用谷歌的 cdc-rsync 服务去同步，比 rsync 快很多
https://github.com/google/cdc-file-transfer

如果不在乎速度，还打算备份成一个压缩包，可以使用
zstd -14 -T4 -r /opt -o a.zst
如果是远程备份
slave=1.1.1.1 #做好免密登陆
zstd -14 -T0 -r /opt -c | ssh $slave "cat > pkg_file. tgz "

[57L49t45Jo9IJvge]

这点数据 rsync 足以

[kokutou]

4t 分区缩小，搞个 2t 的出来再 dd 。。。

不过有的分区格式缩小就炸了。。。

[huangya]

@novolunt cdc-rsync 只支持 windows to linux.　我现在是 linux to linux. 或者 linux 本地 copy 也行（也就是把这款 4T 硬盘和 2T 硬盘连在同一台机器上)

[Showfom]

@youzi0516 #3 rsync 1.5T 小文件，如果是机械硬盘的话，没个一两天基本搞不定