mysql to doris. flink-cdc 怎么重新启动时 续传,而不是从 0 开始

1 月 13 日
 qbmiller
bash bin/flink-cdc.sh mysql-to-doris.yaml


flink 配置如下,最后生效的是 execution_checkpointing
1104 次点击
所在节点    程序员
5 条回复
AlexRoot
1 月 13 日
从 checkpoint 中恢复,checkpoint 中有上次你消费的 kafka binlog offset, 或者是已经分好的 snapshot split.。
qbmiller
1 月 13 日
@AlexRoot 命令是什么样的。 ./bin/flink-cdc.sh mysql-to-doris.yaml -s file:///u01/flink/execution_checkpointing/<JobId>/chk-100 这样对吗,
我只会这样./bin/flink-cdc.sh mysql-to-doris.yaml 提交任务,
soap0X
1 月 13 日
问下 ai 一楼上面说的配置项,代码的话加行代码就可以了
qbmiller
1 月 13 日
@soap0X 非大数据开发人员。现在就是想用配置方式 ./bin/flink-cdc.sh mysql-to-doris.yaml 续传 跑起来。ai 各种都问了,不顶用。
我试试上边那个 -s 参数吧。
AlexRoot
1 月 14 日
@qbmiller #2 本质上是要让你的 flink 任务从 checkpoint 恢复,至于 flink-cdc.sh 这脚本支不支持从 checkpoint 恢复,要看脚本的内容。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1185203

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX