es 如何控制只保存限制天数的日志,哪种方法更好?

2019-11-24 12:34:32 +08:00
 smartwusir007
网上查了有两种方法:
1. 给每天的数据建立一个索引,如 index-systemlog-2019-11-24,然后定期删除索引就行
2. 数据放到同一个索引中,然后利用 delete_by_query 写脚本定时删除过期脚本
感觉第一种更合理一些,第一种的话查的时候也可以通过通配符来查询,不知道用过的大神你们是怎么控制的?
3736 次点击
所在节点    Python
9 条回复
lihongjie0209
2019-11-24 13:00:55 +08:00
怎么实现都可以, 取决于你们的业务需求和数据量吧。
teenart
2019-11-24 13:31:14 +08:00
1 方法比较好,2 方法数据量大以后性能有问题
zibber
2019-11-24 16:21:37 +08:00
量大是不是 1 比较好
janxin
2019-11-24 16:26:33 +08:00
用的 1 方法
yty2012g
2019-11-24 16:32:17 +08:00
一般是用 1 的方法,然后 ES 有索引生命周期管理,通过配置可以自动定期删除过期的索引。而且按天建索引,一天的数据在一个文件夹内,删除性能更好
smartwusir007
2019-11-24 17:16:03 +08:00
thankx @all 看来数据量大的时候用方法 1 更清晰一些,但会建立更多的索引,对性能有影响吧,方法 2 的话数据量特别大的话查询删除部分数据比较慢把
Morriaty
2019-11-24 21:50:43 +08:00
es6.3 版本之前用 elasticsearch-curator,6.3 之后自带 ILM,索引生命周期管理
smartwusir007
2019-11-25 23:03:20 +08:00
@Morriaty 受教了
zhengdai1990
2020-09-07 17:37:42 +08:00
想知道方案 1 的性能损耗大概多少

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/622582

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX