1.2T 的数据, 117 万个文件,嵌套 3 级文件夹,想转移服务器,最高效不会有任何文件损失的文件转移方式是什么?

2017-11-02 09:47:11 +08:00
 alwayshere

目前这台 centos6.8 服务器配置太低已经运转很吃力了,想转移一台好点的服务器,当然不要说什么快递硬盘这么不现实的话,服务器都是一些细小文件,存放在一个叫 static 文件夹里,存放路径形式如:static/ab/cd/ef/blahblah.zip 这样三级文件夹嵌套的形式,现在转移服务器要求如下:

  1. 不能有任何一个文件的损失
  2. 如果转移途中有网络掉线 or 中断,能否实现断点续传之类的从上次掉线的节点继续转移
  3. 转移完成后,怎样检测新服务器的“ static ”文件夹和原旧服务器上的“ static ”文件夹一模一样,包括文件数量和存放位置以及文件大小,不会存在 0 byte 的 blahblah.zip 这样的空壳文件

求好心 V 友解答一下,我 Linux 不是太精通,先谢了

10032 次点击
所在节点    程序员
63 条回复
pming1
2017-11-02 09:49:17 +08:00
物理机的话,把硬盘转过去
ynyounuo
2017-11-02 09:49:30 +08:00
rsync
fengjianxinghun
2017-11-02 09:49:41 +08:00
rsync
Leafove
2017-11-02 09:53:42 +08:00
联系服务商拿硬盘
gouchaoer
2017-11-02 09:54:03 +08:00
手写一个脚本遍历放数据库,完了一个个检查,不多
liuyes
2017-11-02 09:54:39 +08:00
用 ftp 感觉也行
jyf
2017-11-02 09:57:56 +08:00
rsync 吧 可以考虑在新的机器上 /static 单独占个分区 将来要快速迁移 直接 dd
kiwi95
2017-11-02 09:57:58 +08:00
rsync,不放心就 sync 两遍三遍的:-D
domty
2017-11-02 10:00:10 +08:00
你把文件的路径 文件 hash 遍历一遍存下来,然后挨个同步。
同步完成后在新服务器上重做一遍同样的遍历和原数据进行比对,缺了的或者文件 hash 对不上的单个文件重新同步就行。
至于同步的方法有很多,楼上说的 rsync 就不错。
mol310
2017-11-02 10:01:23 +08:00
rsync -P 断点续传
crbee
2017-11-02 10:06:00 +08:00
同步应该没有比 rsync 更好的方法了
但其实直接拿硬盘放到新机房更方便,如果怕硬盘期间损坏可以增加一块硬盘备份再快递硬盘。
danielmiao
2017-11-02 10:07:22 +08:00
远程的话,就是新机器建 NFS,然后在旧机器上挂载以后,用 dd 去拷贝。。但是不支持断点
huijiewei
2017-11-02 10:08:50 +08:00
chih
2017-11-02 10:13:59 +08:00
rsync
manzhiyong
2017-11-02 10:15:39 +08:00
顺丰?
bullfrog
2017-11-02 10:32:17 +08:00
lftp
defunct9
2017-11-02 10:34:58 +08:00
rsync
defunct9
2017-11-02 10:35:58 +08:00
开 ssh,我可以帮你弄,用 rsync,我们公司 35TB 的数据都是这么弄的
Seymer
2017-11-02 10:37:25 +08:00
前段时间看到过这么一个解决方案,个人没有实践,仅供参考。
eslizn
2017-11-02 10:39:56 +08:00
云服务器也是可以物理迁移的:
https://aws.amazon.com/cn/snowball/

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/402830

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX