几千万个图片零散文件,如何从旧式 FTP 存储下面迁移下来?

2021-10-07 21:06:27 +08:00
 taobibi
公司的老旧 NAS 上面存的各种纯图片文件,有摄像机抓图,打卡图,登记图。NAS 是 10 年买的。目前发现无论是系统内置的 FTP 工具,还是 FTP 客户端,传一段时间就假死了,NAS 和电脑都重启还是同样的问题。NAS 里面是 RAID5,网页显示的硬盘健康状况无问题。但是不知道为什么,几千万图片怎么也迁移不下来了
2023 次点击
所在节点    问与答
13 条回复
Remember
2021-10-07 21:16:08 +08:00
Rsync
ch2
2021-10-07 21:20:18 +08:00
自己写个脚本下载
rpman
2021-10-07 21:22:59 +08:00
先打包一下
villivateur
2021-10-07 21:28:52 +08:00
直接取硬盘?
ila
2021-10-07 21:33:57 +08:00
先 list 文件夹,再尝试哪个文件夹卡死。
分析后,先拉取正常的
ss098
2021-10-07 22:24:21 +08:00
rclone
Qetesh
2021-10-07 23:13:26 +08:00
可以先压缩再备份,或者看 nas 支不支持 ndmp 协议底层传输
xiangyuecn
2021-10-08 00:32:51 +08:00
让我来写代码,不出意外,跑不了 1 秒钟就会卡死😂 单个目录内超过 10w 个文件处理起来就会很费力了,更多文件就只会淘宝找砖家了😂
v2tudnew
2021-10-08 00:37:00 +08:00
syncthing
taobibi
2021-10-09 18:02:10 +08:00
@villivateur 旧 NAS 上面是硬 raid5,拆下来的话,硬盘格式和本身 raid 都是读取障碍
heguangyu5
2021-10-11 17:32:51 +08:00
taobibi
2021-10-11 18:44:43 +08:00
@heguangyu5 感谢指点
ragnaroks
2021-10-12 15:11:05 +08:00
syncthing 慢慢传

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/806269

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX