1.2T 的数据, 117 万个文件,嵌套 3 级文件夹,想转移服务器,最高效不会有任何文件损失的文件转移方式是什么?

2017-11-02 09:47:11 +08:00
 alwayshere

目前这台 centos6.8 服务器配置太低已经运转很吃力了,想转移一台好点的服务器,当然不要说什么快递硬盘这么不现实的话,服务器都是一些细小文件,存放在一个叫 static 文件夹里,存放路径形式如:static/ab/cd/ef/blahblah.zip 这样三级文件夹嵌套的形式,现在转移服务器要求如下:

  1. 不能有任何一个文件的损失
  2. 如果转移途中有网络掉线 or 中断,能否实现断点续传之类的从上次掉线的节点继续转移
  3. 转移完成后,怎样检测新服务器的“ static ”文件夹和原旧服务器上的“ static ”文件夹一模一样,包括文件数量和存放位置以及文件大小,不会存在 0 byte 的 blahblah.zip 这样的空壳文件

求好心 V 友解答一下,我 Linux 不是太精通,先谢了

10063 次点击
所在节点    程序员
63 条回复
ray1888
2017-11-02 10:43:09 +08:00
用 rsync 吧,方案已经很成熟了
AlphaIce
2017-11-02 10:45:39 +08:00
rsync
nonsense
2017-11-02 10:50:26 +08:00
nohup tar -cf abc.tar static &
弄成一个文件,避免传输过程中元数据 inode 频繁操作导致时间慢几倍
内容要压缩的话 nohup tar -c static | gzip -2 > abc.tgz &
解压时的 inode 操作就逃不掉了吧,
tar 应该是单线程,平时使用 find 命令的时候发现比较快,可能是多线程的吧,但是小文件 inode 操作还是取决于硬盘 IOPS 性能吧.
rffan
2017-11-02 10:53:03 +08:00
rsync 或者自写脚本对比 sha1 值。嗯,物理机器,还是物理转移的好。直接硬盘甩过去,开心。
FifiLyu
2017-11-02 10:56:11 +08:00
rsync 就行。几十台服务器(几十 T 小文件)可以在几天内数据全部迁移。没任何丢失和损坏。非常成熟的方法。
lscomeon
2017-11-02 11:01:58 +08:00
@nonsense 这种方法完全行不通
MarioxLinux
2017-11-02 11:06:06 +08:00
rsync 可以满足
rrfeng
2017-11-02 11:14:49 +08:00
没说传到哪里去。
两台电脑挨着吗?还是隔很远?
xenme
2017-11-02 11:19:05 +08:00
快递,硬盘镜像应该是最快的。
pynix
2017-11-02 11:22:42 +08:00
建议花点流量钱直接上传到云,比如 某牛,某 3,以后就在云上提供服务了。。。。避免再次出现迁移。。。
8355
2017-11-02 11:42:55 +08:00
先写个脚本记录 md5 或者 sha1 值 遍历所有文件 然后 rsync 以后再检查一遍就可以了. 像你这种情况最好还是上云用对象储存保存文件 不管是可靠性还是可扩展性都比你自己储存的要好. 你的文件数量很大 以后随着业务增长越来越多的时候你每次扩容都要迁怎么办
robertgenius
2017-11-02 11:45:08 +08:00
直接硬盘克隆
moonsn
2017-11-02 12:32:37 +08:00
快递硬盘
Hermann
2017-11-02 12:41:44 +08:00
Allway Sync

这个软件可以实现吗,我用它备份自己的网站
heiyutian
2017-11-02 12:49:22 +08:00
无损压缩再传再解压
gamexg
2017-11-02 12:56:29 +08:00
rsync
即使其他方式实现了也建议最后用 rsync 同步次确认一致。
janxin
2017-11-02 13:02:00 +08:00
当然不要说什么快递硬盘这么不现实的话 我觉得很现实啊,自己的服务器就这么搞

云服务器另说
techeek
2017-11-02 13:12:08 +08:00
我前几天是 tar 打包……然后 http 传输……近 1T 的数据……
stanjia
2017-11-02 13:15:44 +08:00
rsync
likuku
2017-11-02 13:46:16 +08:00
物理硬盘快递什么,最后还是得用 rsync -avP 复制过去,1.2TB 很快的啦...

再者可对源盘的文件作 find + shasum 作个 hash 列表。文件复制完毕,再依照 hash 列表文件作一次校验。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/402830

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX