一个 ElasticSearch 索引复制脚本

2014-12-11 10:13:45 +08:00
 ChiChou

搭建本地开发测试环境的时候需要复制一些线上 ElasticSearch 的数据,因为仅仅需要抽取一部分,所以不打算用全库备份的方式导入导出。尝试了一些现成工具如 Elasticdump 之后感觉满足不了要求,于是自己用 node.js 撸了一个轮子。

<script src=“https://gist.github.com/ChiChou/8c461cf4642616c6b77c.js”></script>

让人难过的是,在我写完这个脚本之后不久就看到了这个东西……

https://github.com/mallocator/Elasticsearch-Exporter

8610 次点击
所在节点    Elasticsearch
1 条回复
ChiChou
2014-12-11 10:25:39 +08:00
编辑的时候不小心点了发布,很蛋疼啊。

脚本会遍历库中的所有索引,在目标库中按照原始的 setting 和 mapping 建立对应索引,再复制一些数据。前面已经提到不是镜像备份,而是根据 limit 参数和 query 参数复制样本。

query 使用 ElasticSearch 的 DSL 来过滤数据。而 limit 是每个 index/type 下的 limit。假如一共有3个 indicies,每个 indicies 下有两种 type,运行的时候参数设为 100,最后复制的数据 limit 应该是 600。

示例:

`node app.js --src=localhost:9200 --dest=dockerhost:9200 --limit=100`

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/153047

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX