请教一下大数据 ETL 工具该如何选择。

[Chayebao]

现在公司的 ETL ，用的是 mysql 存储过程+事件或其他调度工具，来实现 DWD,和 DWS 层的数据转化。因为现在需要处理的表开始多了起来，后续想使用更专业的 ETL 来统一管理和处理。请问现在比较主流的工具是什么，Kettle ？ spark ？ 再简单说一下情况：主站 A 的数据分别同步到 B ，C ，D 库，然后在 BCD 库处理数据，分别在自己的库里转为 DWD 和 DWS 层。

[mywowo]

异类， 用的 kestra

[Mindzy]

SeaTunnel + DolphinScheduler + StarRocks(Doris)

[yingqi1]

@Chayebao 就一个人，不要搞那么复杂，向钱看齐就好了。学 DBT/dataops 。真的要弄实时同步，也不要采用 finkCDC 了，直接用链接服务这类的工具。

[heyline]

你可以去 airbyte 文档看一眼，运行 docker 体验一下，我没用过 airflow ，我稍微看了一下 airflow ，感觉 airbyte 更简单一些 @Chayebao

[Chayebao]

@yingqi1 flinkCDC 已经用上了，没法换了，现在要改进的是 ETL 。3 套从库的 ETL ，mysql 的存储过程都是一样的，每套都有 10 多张表，我想揉到一起管理

[Chayebao]

@heyline 好的 研究研究

[haimianbihdata]

@Chayebao etl 现在一般只是拉数据。。同步数据了。。。计算可以放到数据库里面做，sql 调度分层这样

[Nich0la5]

fine data link 挺好用，不过收费的

[liushawn1999]

逛了一大圈发现原来 kettle 居然是最低级的，那我培训班的老师还教，就离谱，看来市面上用的工具比培训班教的差别好大啊，你们说的这些我一个都不知道

[smallpigzbl]

@heyline +1 DBT 是真的强

[woncode]

蹲一个，我们买了帆软的 FineDataLink ，确实比之前的 kettle 好用一些，可以聚合异源数据输入、基于日子实时同步等。

[x2ve]

@liushawn1999 #49 也算是招聘的要求之一，有这个经验也不错；数据工作本质是 SQLboy ，大头是业务分析，有行业经验搞起数据来才能更快入手。

[yb2313]

prefect 怎么样, 他官网说要比 airflow 更好