ES 中物联网数据获取最新一条,那种写法性能最好?

2021-02-07 13:12:19 +08:00
 tairan2006

目前 schema 设计的是每台设备每天建一个 index,比如 iot_env_info_1_2020.02.07 ,id 是时间戳(@timestamp )。在 index template 里面 alias 所有 info_env_info*为 info_env_info 。

物联网比较常用的查询是显示设备最新一条数据。最简单查询就是按@timestamp对 iot_env_info_1*排倒序,size=1,就完事了。

还有一种写法,是用_cat/indices/info_env_info_1*?format=json&s=index:desc,先看这个设备建立了哪些索引,按名称排倒序,取出第一个。然后对这个特定的索引按时间戳排倒序取出第一条。

理论上后者需要查询的数据更少,但是比较尴尬的是_cat 这个 API 不支持分页,取出的是全量索引,一年 365 天,存个几年之后这个返回数据量还是有点大,费内存…

个人对 es 的排序机制不是很明确,请教一下用第一种写法在数据量大的时候性能下降明显么?不太想做无谓的优化。

3980 次点击
所在节点    Elasticsearch
24 条回复
Anshay
2021-02-08 09:30:54 +08:00
这个业务需求,我的做法是根据时间拿到涉及到的索引传进去。因为是按天,不建议用别名。所有查询根据时间自动传入涉及索引。
我做的业务和贵司类似,踩过挺多坑。
strawberryBug
2021-02-08 11:46:11 +08:00
试试这种,创建索引的时候就倒序存储,这样倒序查询的时候就不会从最早的数据开始扫描。
PUT my-index-000001
{
"settings": {
"index": {
"sort.field": "date",
"sort.order": "desc"
}
}
}
官网链接( https://www.elastic.co/guide/en/elasticsearch/reference/master/index-modules-index-sorting.html)
lithium4010
2021-02-08 11:57:34 +08:00
够用的话越简单越好
tairan2006
2021-02-08 23:22:53 +08:00
@strawberryBug 这个我知道,和我想问的不冲突。这算是单个索引内的优化…

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/752038

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX