请教一下 elasticsearch 分析交易流水类的数据库文本（以||分割），如何才能导入到 elasticsearch 里面？ mapping？有没有工具可以直接通过 sql 转化成可以导入的格式呢？

[jahan]

想通过例子学习一下，如何把数据导入到 elasticsearch。 需要看那部分文档呢？

[kslr]

比如 mysql 就可以把 binlog 同步进去

[jahan]

https://www.jianshu.com/p/1bf53ebfcdcf

貌似这个有一个 txt 的导入，不过我文件里面不单单是字符型？还有金额，这样的话，该怎么给字符定义类型呢？

[jahan]

@kslr 我现在的情况是文件是从数据库导出的 del 备份，有建表语句，但是数据库损坏了。所以可能不能直接从数据库导出了。

[tomczhen]

需要看 logstash 的 input plugins 和 filter plugins 部分，也可以查一下有没有第三方 input plugin 可以直接满足要求，没有话大概就是用 Grok filter plugin 了。

[lfzyx]

你要做的就是把 elasticsearch 当作一个键值数据库
1.建立一个索引
2.把数据库文本中的每个条目转换成一个 json 串
3.把转换后的数据插入索引

[SakuraKuma]

1. 建索引，mapping
2. 会写代码?
转文本到 json，api 插入 es
: logstash #4

[jahan]

@SakuraKuma python 可以写。有现成的可以参考吗？

@lfzyx 谢谢。
@tomczhen 我来试试。就是这几个工具都有点摸不着头，说命令行吧，貌似也不是，说网页吧，貌似很少键可以点击。
刚刚学习。

话说一次能读多大的文本块？

[jahan]

如果有比较精简、完整的文档推荐，那就太感谢了

[jahan]

@SakuraKuma 建立索引这块，有没有工具可以直接把 sql 建表语句变成索引?

[owenliang]

可以自己编程。

[defunct9]

链接里有，把 sql 结果整理成 json，导入即可

[mooncakejs]

awk + curl

[jalja27]

es 2 版本可以用 jdbc 的工具。分隔符可以 logstash grok

[jerome918]

可以用 spark 跑吧，读文件生成 rdd 然后用 es-spark 的 api 写入到 es 中，当然 es 中要首先建好 mapping.

[jahan]

@jerome918 现在就是想通过 sql 建表语句直接转换成索引，初学没找到特别踏实（ step by step，表和索引怎么对应）的例子。

[SakuraKuma]

@jahan #7 elasticsearch-sql

[jahan]

@defunct9 大量的数据怎么整理成 json 呢，有没有现成的轮子呢

[defunct9]

@jahan 自己写个不就好了，拼字符串的事