撸了个小轮子,将 Binlog 解析成 json 推送 kafka

[nodesolar]

https://github.com/feiin/go-binlog-kafka

将 binlog 解析成 json 并推送 kafka 方便订阅消费

{
    "binlog_file": "mysql-bin.000052", // binlog file
    "log_pos": 3013167, // binlog position
    "action": "insert", // insert/update/delete/DDL action
    "table": "tests",  // 表名称
    "gtid": "68414ab6-fd2a-11ed-9e2d-0242ac110002:1-608",// GTID
    "schema": "tests", // 库名称
    "values": null, // insert/delete 时是对应行数据
    "before_values":{...} // update 变更前行数据
    "after_values":{...} // update 变更后行数据
}

[leonhao]

为啥不用 debezium

[akira]

刚好这两天在看 flink cdc ，你也可以看一下，挺好用的

[vincent7245]

这种轮子已经不少了，不过还是辛苦 OP 了

[nodesolar]

@vincent7245 嗯 造轮子玩...哈哈哈

[nodesolar]

@akira 嗯 以前也用过 flink

[silentsky]

为啥不用 maxwell

[a33291]

java 的话,就能直接拿着 debezium 中的组件直接内嵌到程序一起,不用单独去部署这么多东西,还是更方便一些.可惜.net 没有类似的工具,希望有一个.net 组件能够模拟 mysql 的从节点,这样就可以感知到数据变化(CDC)

[julyclyde]

不明白为什么 json
kafka 也不是只能处理文本内容吧？