大量个人数据的存储和备份,你是怎样做的?

2012-06-10 00:03:12 +08:00
 clowwindy
记得很多年前的时候,我刻过十几个光盘包的光盘。刻录、读取、解压、分卷都很费时,人工为光盘“分库”“建索引”也很麻烦。而且光盘存放时间有限,隔几年就要重新刻一遍。后来硬盘越来越便宜的时候,大家就都直接用硬盘备份了。

在硬盘容量还在增长的阶段,我每隔一年左右就要买一块更大的硬盘,然后把原来硬盘上的根目录整个拷进去。现在电影、动画、游戏的容量越来越大,单块硬盘的容量和读写速度没有很大的进步。当需要三块以上的硬盘才能装下所有数据时,硬盘也变得不方便了。

1. 文件分散在不同硬盘上,管理起来不方便,即使用符号链接,也不能维持统一的目录结构。比方说,为了避免单块硬盘用满,可能就要在不同的硬盘上分别建 Movie01,Movie02,Movie03……机械硬盘近年来读写速度没什么进步,手工平衡容量要花很长的时间转移文件,很不方便。
2. 如果硬盘多了,其中某块硬盘挂掉的概率会成倍增加,所以需要一个带冗余的方案。
3. 这些数据应该能很容易的被家中的不同设备访问。

目前找到的方案里面,似乎 Hadoop 的 DFS 能满足这几点,用 fuse 驱动或 webdav 可以挂载到操作系统里。用很便宜的配件(CPU300 + 主板300 + 机箱电源150)就能搭起来,成本基本上大部分就在硬盘上。搭起来之后,存文件的时候不用考虑哪块硬盘还有空间,加硬盘、换硬盘就再也不用手工转移数据了。即使一台机器插满了硬盘,再加一台机器就能直接扩容了。

不知大家有没有尝试过?
7883 次点击
所在节点    问与答
28 条回复
virushuo
2012-06-10 00:04:04 +08:00
试试zfs?
binux
2012-06-10 00:09:09 +08:00
保存存100M的种子,而不是10T的文件
welsmann
2012-06-10 00:13:33 +08:00
@binux +1
clowwindy
2012-06-10 00:18:03 +08:00
@virushuo zfs 能否像 hdfs 那样,可以设置一个 replication 数量,自动决定数据存储在哪些节点?
virushuo
2012-06-10 00:25:20 +08:00
@clowwindy zfs应该是可以通过创建多个不同的文件系统来做这事。但和hdfs的目标是不一样的,所以应该不能直接和replication那么用。

但zfs只要管理好存储池,划分好文件系统应该就可以解决同样问题。
pengjiayou
2012-06-10 01:26:40 +08:00
直接上 NAS ,推荐 Synology 和 Netgear ,尤其是前者,专业做 NAS 的。
lyxint
2012-06-10 01:30:48 +08:00
删掉,最好的解决方案
blueven
2012-06-10 01:55:23 +08:00
@lyxint 赞!
FreeWriting
2012-06-10 02:16:23 +08:00
只备份个人文档,dropbox加移动硬盘
其它下载来的东西没了就没了,否则烦恼太多
blacktulip
2012-06-10 05:08:32 +08:00
真心建议删光,反正我电影从不看第二次,某种特殊类型的除外。
akann
2012-06-11 02:24:55 +08:00
电影建议只保存链接,或者只保存bt种子,音乐保存在google music或者直接使用虾米等音乐网站 其他文件可以保存在网盘或者自己的硬盘。
电影是最占硬盘的,最好不要保存。如果你非要保存电影,建议保存flv格式的电影,容量会比mpeg4格式的电影缩小很多。
goophile
2012-06-11 02:47:41 +08:00
@akann 电影当然是要么不保存,要么保存最好的版本
yuiagain
2012-07-05 14:25:17 +08:00
学习。。。。。
cheshirecat
2012-07-05 14:40:11 +08:00
这是 Hoarding ... 得治...
dhysum
2012-07-05 14:59:19 +08:00
可以试试LINUX集群, NFS等。
dhysum
2012-07-05 15:14:23 +08:00
磁盘柜。
brucmao
2012-07-05 15:21:52 +08:00
迅雷离线空间那么大,保存在上面吧,
likuku
2012-07-05 15:29:11 +08:00
zfs 轻松扩容。只要把zpool里所有的硬盘都以每次替换一块的方式换掉,然后重新加载一次,容量就增大了。
tuita012
2012-07-05 15:30:55 +08:00
可以试试网盘的服务
tuita012
2012-07-05 15:30:58 +08:00
可以试试网盘的服务

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/38945

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX