结构化数据,数据量很大 2g 左右(不修改),如何设计数据结构,使得查询的时间和空间复杂度尽可能的低

2019-06-30 10:10:32 +08:00
 octocatami

上忆条数据,每条数据都不大

4058 次点击
所在节点    Java
13 条回复
iamaprin
2019-06-30 10:15:24 +08:00
存数据库
v2exe2v
2019-06-30 10:24:48 +08:00
DolphinDB 了解一下 https://www.dolphindb.cn/
lihongjie0209
2019-06-30 11:38:04 +08:00
数据库, 建索引
vjnjc
2019-06-30 12:54:03 +08:00
时间,空间只能选一。
一般就是要查询快,建索引
opengps
2019-06-30 13:30:33 +08:00
具体什么要求?关系型数据库还是非关系型?
笼统说,上亿条数据虽然不少,但也不太大,算是个分水岭的位置
dongyx
2019-06-30 14:28:14 +08:00
楼主需要再多给点细节:

1. 2G 是怎么定义的?数据的大小是和数据结构本身有关的,不同结构消耗的空间不一样,你说的 2G,具体是怎样的 2G。

2. 查询是怎么定义的,数据是怎样的结构,需要的查询操作有哪些?比如要查哪些 field,只需要精确匹配吗?需要子串查询吗?正则吗?范围不等式查询吗?
wukangave
2019-06-30 17:01:01 +08:00
v2ex 下限越来越低了,提问的连需求都描述不清楚
dcsite
2019-06-30 23:23:23 +08:00
这点数据量, MYSQL + 索引 不就解决了么?
txy3000
2019-06-30 23:38:06 +08:00
2g 很大吗? 你全部加载放入内存都没问题对现代 PC 来说 redis 有 hash 结构 o(1)够快吧
lookas2001
2019-07-01 00:10:37 +08:00
你的数据是关于啥的,以及你想查啥。
不同场景有不同优化方案,楼主你需要先把需求说清了啊😂
reus
2019-07-01 11:17:42 +08:00
用 SQLite,99%都比你自己设计的好。
fox0001
2019-07-01 11:39:04 +08:00
歪个楼,导入 Solr,还能增强模糊查询
zibber
2019-07-01 15:23:41 +08:00
es 一把梭

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/578662

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX