springboot 整合 spark, 集群方式启动需要怎么配置呢？

[yeboo]

springboot 中调用了 spark 方法，SparkConf 中以 local[*] 启动可以正常运行，但是设置成 yarn-client 模式就会报错，项目是直接启动的 java -jar，有大佬这样操作过吗？

[luckylo]

我不懂，但是给点建议，如果有报错，建议你贴出报错信息。而且 Google 报错信息，应该会有内容。

[endershadow]

你 yarn 中 其他机器上没有你本机上有的某个 jar 包

[yeboo]

@luckylo 我这个问题是属于我知道问题在哪：配置文件设置的不对，但是我不知道怎么去配置。官网和网上几乎所有的配置给出的都是我现在采用的配置，都是 demo 级别的，无法在生产使用。后来找了一个偏门的博客借鉴了下，解决了。。。无论如何，谢谢你了。

[yeboo]

@endershadow 是配置文件的问题，已解决，楼下放解决方案。

[yeboo]

1. 配置参考这个链接： https://github.com/swjuyhz/spring-boot-spark-streaming-kafka-sample ;
2. 启动后报错: Initial job has not accepted any resources
参考 https://stackoverflow.com/questions/38118572/initial-job-has-not-accepted-any-resources-check-your-cluster-ui-to-ensure-that 解决;
3. 接下来就可以愉快地以 java -jar 的方式启动 springboot 程序，用集群方式去执行了。。