mysql 同步数据到 elasticsearch 有什么好的方案？

[swordwinter]

现在基于 ES 做搜索，使用canal同步 mysql 的数据。

目前的做法是在 canal client 里处理 mysql 和 ES 的数据映射。有两个缺点：

1. 与业务逻辑耦合重，映射代码里重复业务逻辑
2. 工作量多，搜索需求变更 /业务方逻辑有变化时，需要调整对应的映射代码

网上找了一圈，基本都在说用 binlog 同步这个点，没有涉及到具体映射这层的处理。有人知道什么更好的方案或者点子吗？

[ming2050]

binlog(row)->maxwell->kafka->logstash->elasticsearch

[swordwinter]

@mringg 我去看看 maxwell 和 logstash 先。我的一个问题点就是带有业务逻辑的映射，是在 logstash 里处理吗？

[ming2050]

@swordwinter 方便举个栗子么？

[mmdsun]

请问 MongoDB3.0 到 elasticseaech 1.7 有没有什么好的方案。今天折腾了一下午，发现 MongoDB import 命令导入 json 数据丢数据

[swordwinter]

@mringg 比如，简单的情况： 商品的分类信息，要从分类表获取组装；复杂点的：商品是否参加某活动，通过活动规则计算后得出结果。不过我重新审视了下这个环节，业务层应该把这些需要计算得到的数据先落库，在同步到 ES 的环节无脑同步就好了。感谢！

[swordwinter]

@mmdsun mongo 的没有处理过诶，网上看到这个[mongolastic]( https://github.com/ozlerhakan/mongolastic)试试？