大家一般用什么数据库作为数据仓库( 200+TB 级别)

2015-12-02 12:24:46 +08:00
 Feiox

功能很简单,存储大量纯文本数据( zip 压缩率能到 30%),并可以通过 ID 去查找的目标数据, 3 秒之内读出即可。自建集群,需要进行不太严格的备灾。
但是,数百 TB 还在每天好多 G 的往上涨。。。
那么,该选用什么什么数据库比较好呢?
MongoDB 3 中的 WiredTiger ? Hbase ?还是什么?

2432 次点击
所在节点    数据库
21 条回复
RangerWolf
2015-12-03 11:09:08 +08:00
@RangerWolf 我们存储的时候 并没有压缩数据, 以前做其他项目是在 app 层面对数据进行压缩。 比如就用 java 的 Gzip 来进行压缩与解压。

不过 Cassandra 有自己的压缩文件、减少存储空间的策略~

我们的 Cassandra 也是自己建的集群,感觉在管理上面还算比较方便。 IO 上面也很不错~
我们用的是比较强力的台式机, I7 + 32G mem

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/240518

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX