请教一下大数据 ETL 工具该如何选择。

[Chayebao]

现在公司的 ETL ，用的是 mysql 存储过程+事件或其他调度工具，来实现 DWD,和 DWS 层的数据转化。因为现在需要处理的表开始多了起来，后续想使用更专业的 ETL 来统一管理和处理。请问现在比较主流的工具是什么，Kettle ？ spark ？ 再简单说一下情况：主站 A 的数据分别同步到 B ，C ，D 库，然后在 BCD 库处理数据，分别在自己的库里转为 DWD 和 DWS 层。

[awen233333]

kettle 不建议，我觉得不好用，速度慢 bug 多，老是报莫名其妙的错，数据量小还可以凑合用一下

[ChenKeLiang]

dataworks

[EarthChild]

@awen233333 #1 那你推荐啊！

[EarthChild]

@ChenKeLiang #2 不要阿里系的。

[sss15]

盲推一波 flink cdc

[heyline]

可以试试 airbyte + dbt 的方案

[yngzij]

datax 可以考虑一下

[awen233333]

@EarthChild 我推荐的就是你不想用的😂

[dot2]

dolphinscheduler

[haimianbihdata]

海豚调度。datax flink cdc

[hengtong]

蹲一个

[hengtong]

dataworks 挺好的 就是贵

[ursash]

dbt 考虑一下？

[kkadmin]

Doris/StarRocks + Dolphinscheduler

[ctrlaltdeletel]

推荐 dbt ，以及 gitlab 的实践 https://about.gitlab.com/handbook/business-technology/data-team/platform/dbt-guide/

[G64q9J89mN5KSgmE]

mysql select 同步的话，datax 还不错
bin 同步考虑 canal
如果不想用阿里的，自己用 python 写同步脚本，也很快

[tyrantlucifer]

火山引擎 DataLeap 开发套件可以了解一下

[leonhao]

开 binlog 最省心

[dlmy]

强烈推荐 FlinkCDC ，大数据项目每天处理 5 亿条数据，处理流程如下：ODS -> DWD -> DWM -> DWS -> ADS ，暂时没发现什么问题

[iv8d]

kettle