请教 Elasticsearch 使用单机多节点集群与单机单节点相比,性能是会下降还是提升?

2020-11-09 18:30:59 +08:00
 coderflying
如题,目前是使用 docker 启动的单机三节点集群,每个节点分配 10G JVM 内存,数据存储的是比特币交易数据,目前数据大概是 58 亿条(每条数据都比较大,有的达到上百 KB),按月进行分索引。现在如果不指定具体索引的话,查询一个记录要花费 4-5 秒的时间,想请教大牛们,在不增加机器的前提下,如何让查询更快一些?
2637 次点击
所在节点    Elasticsearch
4 条回复
Mithril
2020-11-09 18:42:34 +08:00
单机多节点有什么意义啊。。。要崩一起崩,不崩一起拖性能。。。。
而且 ES 相当依赖系统的文件缓存,官方推荐留一半内存给系统做文件缓存。你想你这还能剩多少内存。
coderflying
2020-11-09 18:56:14 +08:00
多谢大佬解答,我现在又有一个问题,就是我的现在的总数据量是 700G,现在可用内存还剩余 29G,就算这 29G 全给系统做文件缓存,那么是不是意味着只有 29/700 的数据在查询上速度会快一些,其他的还是从磁盘地区?
coderflying
2020-11-09 18:56:55 +08:00
@Mithril 多谢大佬解答,我现在又有一个问题,就是我的现在的总数据量是 700G,现在可用内存还剩余 29G,就算这 29G 全给系统做文件缓存,那么是不是意味着只有 29/700 的数据在查询上速度会快一些,其他的还是从磁盘地区?
Mithril
2020-11-09 19:17:36 +08:00
@coderflying 一个核心的问题,你这 700G 都要做索引吗?你可以把要做索引的弄出来看看有多少,其它的放到别的地方。
如果真的是 700G 的数据要做索引,那你只能加机器了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/723312

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX