上亿数据检索,用什么数据库合适?

2016-09-23 19:44:14 +08:00
 Eleutherios

用于一个自己做着玩儿的小项目,数据格式是这样的: ID TYPE YEAR MONTH DAY HOUR DATETIME V1 V2 V3 ... Vn

其中 ID 只有几千个, 且自带空间信息( LAT LON HEIGHT ), TYPE 有几十个,DATETIME 是采样时间打算存成字符串, Vi 都是浮点数据,数据量以大约 2 千万条 /年的速度递增。 需要的操作主要就是“获取满足一定约束条件的全部数据”和一些简单的加减乘除取平均之类的运算。

由于只是科学计算,不是业务性质的项目,所以调用频率不是很频繁, 对运算时间也不敏感,响应时间从数秒到数分钟都无所谓。 比较重要的一点是为了能方便地调用,所以不打算分表

目前的话只在本地处理,根据 ID 用 CSV 存储,而后用 Python 的 Pandas 计算,搭配上 SSD 倒也不是不能忍受。但因个人原因(写循环读数据太烦人了),所以打算弄成数据库并丢到 Linode 上面( 2GB 丐版),所以特地来万能的 V 站请教解决方案 Orz

1371 次点击
所在节点    问与答
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/308541

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX