网站内容备份, 7T 大小的文件,怎样时时同步到 4 台 2T 的服务器中?

2018 年 8 月 7 日
 alwayshere

这两天因为某云的事情吓着了,而且我是三块硬盘做 RAID0 (笑哭脸~),现在准备把网站 7 个 T 大小的文件,想时时同步到 4 台 2T 的服务器中,几十万个文件夹三级嵌套在一个超大文件夹中,路径如 static/123/345/456/blahblah.jpg ,想实现主服务器删除一个文件,备份服务器也马上自动删除该文件,主服务器新增一个文件,备份服务器也马上同步增加该文件,这样即使主服务器挂了,备份服务器可以第一时间被调度冲上前线扛起任务。因为还没有 8T 大小的服务器,只能同步到 4 台 2T 大小的服务器,怎么实现最好?

5497 次点击
所在节点    程序员
34 条回复
huangzxx
2018 年 8 月 7 日
试试 lsync 可以满足你功能,但性能得测一下。
用最新版本: https://github.com/axkibe/lsyncd
zwy100e72
2018 年 8 月 7 日
网上一个 YouTube 主播说,企业资料你至少有 3 个独立备份才能保证一定的可靠性,要想保证高可靠性至少要备份 5 份。楼主扩容吧,单台机器扩容到 10T 就好了😅

如果你当前文件分布还算均匀的话,可以考虑在 2T 的备份服务器上设置 rsync ;不过热数据还是建议分开备份
likuku
2018 年 8 月 7 日
这...不是备份啊,兄弟。

你这只算是增加了一个备用节点,根本不算是“备份”。
likuku
2018 年 8 月 7 日
实时完全同步这么玩,即便是当作不用上线的”备份“,也是很危险。

在线机器误操作删除了呢?所谓 备份机 也同步删除了,你怎么办?

在一定周期内给独立备份只增不删,这样你才更有机会找回你意外丢失的数据,定期清理陈旧备份(合理备份策略:比如备份机上每天一个增量快照 /版本,保留最近 7 天的每日备份,7 天以上,30 天以内的,保留每周日的备份,30 天以上,180 天以内,保留每月第一个周日的备份)
likuku
2018 年 8 月 7 日
“三块硬盘做 RAID0 ” ... 很罕见的自杀行为...
ndd200
2018 年 8 月 7 日
硬要做实时,开销可能比较大,实现也麻烦,24 楼的想法其实挺好的。
如果不考虑费用,可以同时往阿里 /腾讯的云存储丢一份,我记得他们有一种存储方案是低访问模式(具体名称记不清了,只存不取费用便宜),两家同时挂掉怕是要互联网地震了。
opengps
2018 年 8 月 7 日
raid0 存在的目的:
1,拼凑最大存储量
2,大块读写速度提升
3,让不做备份的后悔到死
tetsai
2018 年 8 月 7 日
服务器删除,备份也删除,这个做法并不是很好,删除后应该继续转移到冷备份服务器保留 XX 份
wangking
2018 年 8 月 7 日
@my3157 s3 貌似存储不要钱,流量要钱吧
my3157
2018 年 8 月 8 日
@wangking #29 收费的, 对象存储一般上传流量不收费, 下载和存储都收费,
bryant183
2018 年 8 月 8 日
楼主网站是“王”网? 2333
msg7086
2018 年 8 月 8 日
1. 随时同步不算备份,算冗余。请另外做备份方案。
2. 多台服务器合并空间可以考虑 GlusterFS 之类的方案。
aiseo
2018 年 8 月 8 日
我是定期备份回本地群晖,同时备份到其他机房
群晖是 raid5+本版资源管理,本地定期冷备
realpg
2018 年 8 月 8 日
RAID0 看哭了……

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/477587

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX