logstash 同步 mysql 增量数据到 elasticsearch，除了把 mysql 的主键 id 赋值给 index.document_id 外，有没有其它办法避免数据重复的问题。
如果只有这种办法，那 mysql 的自增 id，对于 es 的文档索引效率等有什么影响吗？
如果只有这种办法，那 mysql 的自增 id，对于 es 的文档索引效率等有什么影响吗？
This topic created in 2218 days ago, the information mentioned may be changed or developed.
 |
1
Navee May 13, 2020
新增文档赋值 id 的话写入会非常的慢，但也只有这一种办法能完全避免重复数据了
还有一种不靠谱的方式是自己写一个同步程序，记录每次同步的最新 id，一定程度上能避免重复 |
Select Language