百万数量级小文件迁移怎么做?

2021-06-02 17:37:38 +08:00
 FenixVu
服务器上有 3 个 t 的数据大概由百万级别数量的小文件构成,现在挂了一个 5 个 t 的硬盘想把 3 个 t 的数据备份到硬盘上有啥好方法么 cp mv rsync tar 都试过了 不太好使
4550 次点击
所在节点    Linux
29 条回复
AoEiuV020
2021-06-03 14:24:13 +08:00
@iphoneXr 本来就很慢了，再校验一下岂不是更慢了，一般硬盘对拷也不会出错，不需要这种东西吧，
而且看了下官网也没提 dd 之类的，竞品只是 rsync, cp，怎么到你这里好像都能吊打 dd 了似的，
X0ray
2021-06-03 17:13:48 +08:00
请问下楼主 cp / mv 哪里不好了
wzq001
2021-06-03 17:28:28 +08:00
@MarkLeeyun
wzq001
2021-06-03 17:28:49 +08:00
[sudo] password for root:

@MarkLeeyun
newmlp
2021-06-03 19:29:07 +08:00
当然是硬盘对拷最快
msg7086
2021-06-04 04:53:05 +08:00
叠瓦盘拷 3T 小文件可以拷一年……
FenixVu
2021-06-04 09:29:20 +08:00
@X0ray 我预估了下我这边估计 3000w 左右的文件个数 刚开始还好后面就夯死了,考一会歇半天
maxbon
2021-06-04 16:53:08 +08:00
试试 unison，之前百万级别的文件用这个效率还行
FenixVu
2021-06-10 09:25:51 +08:00
@heguangyu5 谢谢老哥用你推荐的方法 成功了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/780920

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX