如何确保自己网盘的文件是没有损坏的?

2021-07-29 14:19:07 +08:00
 MakeItGreat
背景:Dropbox 付费,一万到十万个文件
如何确保一个文件在很久之后没有损坏或者丢失
损坏的可能来源:某个软件或者脚本修改了某个文件,物理损坏
损坏的后果:在 Dropbox 提供的回滚过期之后,文件彻底损坏
目前的思路?
1.定时备份,扔到不同 oss 保存一年以及更久
2.定期对全部文件 hash 计算,进行核对

虚心请教各位还有没有更好的办法?
如果这个问题是杞人忧天,也请大家指出
谢谢各位!
2358 次点击
所在节点    问与答
21 条回复
delectate
2021-07-29 20:24:36 +08:00
文件列表核查+md5 定期抽检+重点文件异地容灾多重备份
akira
2021-07-29 21:38:13 +08:00
你不动他也是有概率损坏的。
找另外一家存储服务也备份一份 基本上就没问题了
ynyounuo
2021-07-30 07:20:52 +08:00
买一个远古 Dropbox 付费账号,享受无限文件回滚
ruixue
2021-07-30 08:55:08 +08:00
愿意牺牲方便性(如在线预览、同步修改)的话,WinRAR 打包并添加恢复记录

压缩包自带所有文件的 hash,解压时会校验,不一致会报错

恢复记录使用 Reed-Solomon 纠错码,可以在损坏不严重的情况下重建数据

https://documentation.help/WinRAR-zh/HELPArcRecovery.htm
MaverickLee
2021-07-30 09:07:16 +08:00
用 MlutiPar 创建 Par2 恢复档
Kagari
2021-07-30 09:27:05 +08:00
用 rclone 的 hash 校验
sagaxu
2021-07-30 09:27:39 +08:00
阿里云 OSS 三副本,加上跨区域备份,除非自己误操作,损坏的概率极低
3dwelcome
2021-07-30 09:36:45 +08:00
@ruixue WinRar 加恢复卷打包,是国内特色,早期百度网盘有下载错误搞起来的。

但是国外的网盘,正常都不存 SSD,都是存大容量机械硬盘,要坏就是一大片资料丢失,很少会存在只损坏个别字节的现象。

加 hash 完全够了,加 RS 纠错码就是心理安慰。
matrix67
2021-07-30 09:37:41 +08:00
备份的时候记录 hash
存 2 份(或者 3 份)
SuperMild
2021-07-30 09:40:05 +08:00
如果文件不多,定期备份到 OSS 就蛮好的,OSS 有多副本。我自己不信任云服务商,所以自己做本地备份,备份到另一个硬盘,定期校验 hash 。
745839
2021-07-30 09:48:52 +08:00
你们都备份些啥这么多文件
yinxiangbiji
2021-07-30 09:53:03 +08:00
损坏就坏了呗
efaun
2021-07-30 10:43:36 +08:00
@yinxiangbiji #11 +1,传到网上坏了就坏了,真要保险自己组 RAID
learningman
2021-07-30 10:45:55 +08:00
@745839 node_modules (不是)
koor
2021-07-30 11:22:13 +08:00
几年前传到百度网盘的照片,已经有好几张打不开了
zxCoder
2021-07-30 11:26:38 +08:00
备份
msg7086
2021-07-30 11:27:14 +08:00
RAR 5% 恢复记录。
neteroster
2021-07-30 11:29:11 +08:00
你方法没啥问题,就是备份 + hash
Kagari
2021-07-31 10:20:09 +08:00
重新看了主楼,原来还没到这一步
但是系统该如何判断这个操作是否为正常操作呢?就像加密勒索软件那样
lz 可以用额外带增量备份的软件来备份,比如 restic 、duplicati
然后才会遇到下一个问题:文件在上传的过程中损坏了怎么办
wanguorui123
2021-07-31 14:15:48 +08:00
定期 HASH

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/792469

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX