怎么把 elasticsearch 里面的数据导入到 hadoop 里面

2017-03-02 13:37:01 +08:00
 ufo22940268

我又 tm 不要脸地来问了,因为研究了很久还是搞不明白。

好像有这个项目,但是不知道怎么导数据,求大神给个链接或者指导下。现在数据都放在 es 里面,然后 es 分析数据的能力不够想导入到 hadoop 里面分析试试。

3437 次点击
所在节点    Hadoop
4 条回复
knightdf
2017-03-02 14:25:22 +08:00
先从 es 里导到硬盘上去呗,你每次从 es 里读那得多慢啊
bbx
2017-03-02 14:26:32 +08:00
不太懂你在说什么。不过从你提供的链接来看,貌似你是想用 mapreduce 来读 es 的数据。其实很简答,你网上找个可用的 inputformat (你链接上的),然后写个 mapreduc 程序就行了。。貌似我说了和没说一样,不过你那个链接里面已经说的很清楚了
onesuper
2017-03-03 10:40:34 +08:00
LZ 提到的 elasticsearch-hadoop 这个项目把 ES 作为一个 storage 层直接访问。

在 ES 里做简单的分析( aggregation ),参考这个项目: https://github.com/onesuper/pandasticsearch
37Y37
2019-03-20 16:55:16 +08:00
当我把这个问题解决后,写了一篇详细的操作文档
https://mp.weixin.qq.com/s/qOw1a83pQImXiDRRZ0e9Aw

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/344328

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX