这是一个创建于 789 天前的主题，其中的信息可能已经有所发展或是发生改变。
性能上的差异是微乎其微的，Spark 底层都是转换成 RDD 执行。对于习惯写 SQL 的人来说，似乎关注 SQL 层面的优化即可。大佬们生产上都怎么用？
 |
1
picone 2022-02-21 00:05:06 +08:00
我觉得重点还是需要关注最终执行计划，怎么实现都不重要。看看 DAG 有没有可优化的地方，比如减少 shuffle 数据，把重复计算的地方 cahce 等等。
|
 |
2
liprais 2022-02-21 00:18:42 +08:00 via iPhone
写啥都一样
|
 |
3
sl19981007 2022-02-21 10:11:13 +08:00
sql 能实现的用 DataFrame 的各种函数也都能实现，看个人习惯吧，用哪个都能用到 Spark SQL 的各种优化机制，Catalyst 、Tungsten 等,重要的还是减少 shuffle 吧
|
 |
4
vincent7245 2022-02-21 10:36:45 +08:00
看具体业务啦，对于临时性的简单业务，一般公司大数据中台都可以直接把 sql 提交到 spark 运行，这样更灵活一些。对于复杂的业务，一条 sql 搞不定的，或者比较稳定的业务，就手撸 DataFrame
|
 |
5
Aksura 2022-02-21 17:51:43 +08:00
混合着用，有的逻辑 SQL 写清晰，有的逻辑调用方法清晰。
|
Select Language