V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Sponsored by
LinkedIn
2000 个不用坐班的远程好工作在召唤你 · 弹性上班不打卡,工作和生活都能拥有
2000 个不用坐班的全球远程工作,帮助 V2EX 的小伙伴开启全新的工作方式。
Promoted by LinkedIn
abccba
V2EX  ›  程序员

个人数据备份的一些问题

  •  1
     
  •   abccba · 58 天前 · 3112 次点击
    这是一个创建于 58 天前的主题,其中的信息可能已经有所发展或是发生改变。

    需求

    定期备份 /冷备

    • 个人数据:文档、图片、视频等,目前十几 GB. 需要加密
    • 网络资料:电子书、影视音乐等,目前几十 GB 积累中。互联网上说不定哪天就和谐了,优质的资料还是自己离线存储一份吧。无需加密

    备份与同步的实现方案?

    暂不考虑 RAID/自己部署网络服务(太麻烦了,我自己这个场景性价比不够高?)。数据平时在个人电脑(Linux/MacOs)和手机里

    • 有啥推荐的备份程序或工具吗? 写个脚本每周~每月手动执行,从电脑往移动硬盘 rsync?
    • 在这个背景下,加密与安全问题有哪些考虑点,或者大家是如何加密存储的呢?
    • 重要的个人数据还会往 U 盘存一份,保证有 3+副本(电脑 /手机、移动硬盘、U 盘)
    • 准备 2 个移动硬盘,一个随身一个放老家,往返老家的时候就交换下这两块盘
    • 仔细想了下,暂时还不需要实时备份(主要是考虑到实现代价相对于收益而言太大了),当然大家也可以说说自己的实时方案

    硬盘如何选择?

    感觉 1~2T 的普通移动机械磁盘比较合适?

    • 容量 1-2T 感觉目前足够了,有需要再上更大容量的
    • 性能没有很高要求
    • 当前是不是还推荐用 cmr 盘,京东上似乎有些移动硬盘是“监控盘”,之前不是很懂,搜了下资料,感觉用作个人数据备份也还可以?
    • 移动硬盘格式化成什么文件系统比较合适,有推荐的不?

    维护?

    • 硬盘会坏,如何定期检测呢,备份脚本执行一下 fsck 是否可行,或者应该怎么做更合适?

    更多

    还需要考虑哪些问题和关键点呢?

    提前谢谢大家

    45 条回复    2022-07-31 18:56:27 +08:00
    codefever
        1
    codefever  
       58 天前   ❤️ 1
    我觉得最优质的资料,还是得打印出来
    duke807
        2
    duke807  
       58 天前 via Android   ❤️ 1
    定期 rsync ,服務器 sync 到本地電腦,電腦 sync 到 u 盤

    敏感數據存到 image 文件中,需要訪問的時候才解密,解密后內容映射到一個目錄,使用開源加密 shell 小腳本:
    https://github.com/dukelec/cde/blob/master/tools/aes-mount.sh
    duke807
        3
    duke807  
       58 天前 via Android
    電腦每過一段時間,開機會自己 fsck ,不用自己 fsck ,除非你從來不關機
    duke807
        4
    duke807  
       58 天前 via Android
    電腦每過一段時間,開機會自動 fsck ,不用你自己 fsck ,除非你從來不關機

    代碼數據還要單獨 push 到 git 服務器,開源的 push 到 github ,不開的 push 到自己服務器 gerrit
    rekulas
        5
    rekulas  
       58 天前   ❤️ 1
    如果你不需要 raid ,直接买个玩客云,然后配个硬盘实现加密同步到 oss 、百度云等,年备份成本几十元而已,配置也简单,还可以当 nas 挂载使用

    似乎比你 pc 上折腾还方便多了吧
    abccba
        6
    abccba  
    OP
       58 天前
    @codefever 哈哈哈,是的
    abccba
        7
    abccba  
    OP
       58 天前
    @duke807 谢谢您的建议
    关于 fsck:我是想问用于冷备的 移动磁盘,是否需要定期 fsck 检查损坏情况。。。
    luoshengdu
        8
    luoshengdu  
       58 天前 via iPhone   ❤️ 1
    你需要的功能 ,不就是品牌移动硬盘厂商配备的自动化备份工具就能满足吗?
    https://www.seagate.com/cn/zh/support/software/toolkit/
    买个移动硬盘,装上这玩意儿设置个计划备份就行了。
    abccba
        9
    abccba  
    OP
       58 天前
    @rekulas 谢谢

    敏感的个人信息,我觉得以我的能力,加密以后也不敢往云上放(有很多网友有不同观点,我尊重不同看法);线下存储风险更小。

    公开的文档、影视资料这些放云上又可能被审查和谐,也可以简单加密后放上去。。。
    lidodo
        10
    lidodo  
       58 天前 via iPhone   ❤️ 1
    1. 网络一份,比如 Dropbox 或者 onedrive ;
    2. 硬盘一份;

    应该是比较安全了
    datoo
        11
    datoo  
       58 天前   ❤️ 1
    搞个 Dropbox 或者 Google drive 就行了呗
    datoo
        12
    datoo  
       58 天前   ❤️ 2
    中国的隐私信息传美国网盘,美国的隐私信息传俄罗斯网盘,俄罗斯的隐私信息传中国网盘。这样最可靠
    netnr
        13
    netnr  
       58 天前 via Android   ❤️ 1
    兄弟,都是浮云,没你想的那么重要,身体出现个伤痛,这些啥也不是,平常心
    abccba
        14
    abccba  
    OP
       58 天前
    @luoshengdu 谢谢
    好像不支持 Linux ,得定期运行 Windows ;
    然后需要将加密放在备份之前(例如平时就加密存储,访问时解密,如 2 楼朋友的建议)。

    感觉可以试试,应该比自己折腾好
    neteroster
        15
    neteroster  
       58 天前   ❤️ 2
    备份

    * 推荐的备份工具:restic ,功能包括增量备份,自动去重,自动加密,快照式管理,很好用。
    * 需要考虑的点:备份的可用性&完整性,最好定期验证备份。

    硬盘

    * 根据你的容量需求,推荐用移动固态。移动硬盘由于更容易发生碰撞 / 供电稳定性等原因,固态会比机械更合适。读写速度也会大幅提高。
    * 文件系统:由于你是备份用,如果用了 restic 类的工具,本身就能验证数据完整性,所以只需要根据系统选择即可,Windows - NTFS; Linux - ext4 / xfs. 如果你选择直接 rsync 之类的方案,备份又在 Linux 下进行,则可以考虑使用 btrfs 或 zfs 以验证数据完整性。

    维护

    * 很难预测硬盘的损坏,还是尽量多备份。
    abccba
        16
    abccba  
    OP
       58 天前
    @lidodo @datoo 谢谢两位。需要科学上网就又多了一个不太可控的条件,哈哈哈
    abccba
        17
    abccba  
    OP
       58 天前
    @neteroster 非常感谢您提供的思路,我好好研究下 restic 这个工具

    再请教一个问题:“如果你选择直接 rsync 之类的方案,备份又在 Linux 下进行,则可以考虑使用 btrfs 或 zfs 以验证数据完整性”,这个具体可以怎么操作呢,怎么使用 btrfs 或 zfs 验证数据完整性?
    neteroster
        18
    neteroster  
       58 天前   ❤️ 1
    @abccba
    两个文件系统都有对应指令,比如 zfs 运行 `zpool scrub <poolname>` 就可以自动读取所有数据并且验证 hash 值(这个 hash 值是在文件写入的时候自动计算并保存的。)如果有问题(且没有 raid 冗余的情况下)会报告损毁的文件,只需从备份恢复损坏文件即可。
    JamesR
        19
    JamesR  
       58 天前   ❤️ 1
    京东多买几块正规机械硬盘,往 PC 机上一装就好,直接用 Fastcopy 拷贝保存就行。只要不频繁读写,或者读写中停电,机箱避免震动,个人使用机械硬盘是很难坏的,我的几块硬盘坏都是 7×24 小时下载下坏的。
    JamesR
        20
    JamesR  
       58 天前
    备份可以用 Freefilesync 配合任务计划自动定期同步文件夹就行,使用上非常简单。
    xy90321
        21
    xy90321  
       58 天前 via iPhone   ❤️ 1
    离线冷数据的话蓝光刻录就可以了。
    25G 50 片桶装百元出头,折合 1.2T/100 元 左右,性价比也凑合。
    储存条件注意避光保持干燥再搭配普通的 PP 材质光盘收纳袋,存个十几二十年问题不大。
    233373
        22
    233373  
       57 天前   ❤️ 1
    全丢 GD 了
    totoro625
        23
    totoro625  
       57 天前 via iPhone   ❤️ 1
    我主力用的 Windows ,下面提到的 syncback 和 bitlocker 不支持 linux

    主要用的 restic 自动加密每天定时备份 带版本控制
    其次 snapraid 辅助备份

    另外用了一个 syncback 无加密每天定时备份 带版本控制
    最后群晖 drive 无加密实时备份到老家 带版本控制

    移动硬盘只用于备份的话没必要挑选 cmr ,我数据较多买了不同型号两个 5t 的
    电脑挂了一个 16t cmr ,老家群晖是单盘 8t cmr

    重要数据我用的 veracrypt 和 bitlocker 加密后丢 u 盘
    Chad0000
        24
    Chad0000  
       57 天前 via iPhone   ❤️ 1
    移动硬盘备份一份,然后加密上传至便宜得云存储比如 backblaze b2 ($0.005/g/month )套个 CF 免流量费。定期检查硬盘上的文件,hash 不一致就重新下载。
    hoopan
        25
    hoopan  
       57 天前
    一步到位搞台 NAS 就好了
    pendulum
        26
    pendulum  
       57 天前
    goodsync 多目标备份(移动硬盘、NAS 、SharePoint 、OSS )
    IvanLi127
        27
    IvanLi127  
       57 天前
    syncthing 支持加密备份到不可信设备,能实时同步,也能定时同步。有多台手机或计算机就行。
    XiaolinLeo
        28
    XiaolinLeo  
       57 天前
    个人数据加密的:本地一份、国内网盘一份、国外网盘一份
    关于网络资料这些你说的电子书、影视音乐本地和云盘各一份就行,不涉政、黄,没人给你和谐。
    cnrting
        29
    cnrting  
       57 天前 via iPhone
    備份啥子,生不帶來死不帶去的
    des
        30
    des  
       57 天前 via iPhone
    @neteroster restic 太坑了,备份出来一堆小文件,都是 4MB
    life1st
        31
    life1st  
       57 天前 via iPhone
    我用 qnap 的 hbs3 ,另外有个社区方案可以试试 https://github.com/duplicati/duplicati
    msg7086
        32
    msg7086  
       57 天前
    质量好的硬盘都是大容量的企业级。我现在只买 14TB 或更大的盘了。
    1TB 2TB 这种都是家用级的盘,质量一言难尽。

    至于性价比的问题,你可以先问问自己,假如你的这些个人数据坏了,你愿意花多少钱抢救数据。然后把这些钱拿来部署存储方案。
    neteroster
        33
    neteroster  
       57 天前 via Android
    @des 是这样,但是都是本地互操作没啥关系,上传云端就很痛苦
    leefor2020
        34
    leefor2020  
       57 天前
    我重要数据本地加密之后,家里 NAS 上一份,Dropbox 一份,另外为了防止加解密出错,明文的还在机械移动硬盘上存了一份
    Achophiark
        35
    Achophiark  
       57 天前
    双盘位 nas 搞定你的需求
    donghai163
        36
    donghai163  
       57 天前
    加密用 cryptomator,全平台都支持,然后 rsync 脚本定期备份,或者备份到云盘
    totoro625
        37
    totoro625  
       57 天前
    @donghai163 #36 早些时间用过 cryptomator 和 Boxcryptor ,体验都不算好( Windows 平台),
    Boxcryptor 能映射一个本地磁盘比 cryptomator 的网络共享磁盘好一些;但是 cryptomator 开源免费
    totoro625
        38
    totoro625  
       57 天前
    @totoro625 #37 勘误,cryptomator 支持 FUSE 类型的虚拟磁盘
    jekyll
        39
    jekyll  
       56 天前
    日常使用:cryptomator 或 Boxcryptor 搭配 Dropbox

    电脑上插 2-3 块硬盘,Dropbox 里的内容全离线下来,1:1:1 ,就有两三份了,总不至于同时坏吧
    公司电脑再下一份,异地原则满足了
    再来 1~2 个移动硬盘
    上面这些盘都开 BitLocker ,下在里面的也都是 cryptomator 或 Boxcryptor 加密过的文件,cryptomator 或 Boxcryptor 的密码 1024 位,放在 keepass 里。
    管好你的 keepass 。
    documentzhangx66
        40
    documentzhangx66  
       56 天前
    @msg7086 大盘麻烦的地方在于,恢复时速度极慢,特别是那种几十万甚至上百万个零碎的小文件。

    我一直买 3T - 4T 的日立拆机盘,我感觉这是性价比与故障恢复的黄金尺寸。

    我自用的,加上给朋友同事推荐的,大概四五十个了,除了某 2 个在收货后检测期间发现问题后,退货了,其他的,三年以来,无一翻车。
    documentzhangx66
        41
    documentzhangx66  
       56 天前
    题主这种怕麻烦,动手能力欠缺的情况,适合买白群晖。

    白群晖基本上把你的需求全覆盖了,包括回老家后的外部访问、手机访问与备份,等等。
    Hoshizora
        42
    Hoshizora  
       56 天前 via Android
    @des 可以试试 borgbackup ,个人测试 borgbackup 能更好的压缩数据(可选压缩工具实现不同压缩率),虽然也会产生一堆小文件,但数量相对少点
    des
        43
    des  
       56 天前 via iPhone
    @Hoshizora 已经在用了,虽说功能不如 restic 功能多。不过 restic 设置大 chunk 有人提了 pr 了
    kerrspace
        44
    kerrspace  
       55 天前
    @Chad0000 为什么默认云储存的一定是对的呢?云储存数据的最终落脚点不也是机房的硬盘吗?它也会发生你本地硬盘一样的事情。为什么默认云盘稳定性就高于本地硬盘呢?
    Chad0000
        45
    Chad0000  
       55 天前 via iPhone
    @kerrspace 因为自己管理硬盘出问题概率大太多,比如放家里潮湿损坏,电力不稳定,震动(我家小孩扔皮球到我笔记本上直接报废了 ssd ),丢失(小偷)。这些发生的几率远高于机房,而且个人一般也没有定期检查硬盘和数据有没有问题的习惯。
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2401 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 55ms · UTC 15:41 · PVG 23:41 · LAX 08:41 · JFK 11:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.