在 intellij 下跑 spark 任务 碰到的问题

2017-12-03 07:43:51 +08:00
 ufo22940268
碰到的问题是没法正常链接 hive, 运行的方式是直接在 intellij 下 run, 而不是 命令行下 spark-submit.

https://gist.github.com/ufo22940268/44d72cb58a9627bdf9a40c78246c4ed3


-----------------------

其实本质问题就是直接在 intellij 下 run 的时候不会去读 mysql 的 metastore, 而是用了默认的 derby 的 metastore. 然后 mysql 的 metastore 的配置在 hive-site.xml 下, hive-site.xml 放在 SPARK_HOME/conf 下.
2064 次点击
所在节点    程序员
3 条回复
suixn
2017-12-03 07:56:18 +08:00
这样一般是因为 jar 包没提交上去，你用一下 setjars 试试
suixn
2017-12-03 07:58:10 +08:00
另外就是 hive 配置文件也要放到项目资源目录，保证程序知道去哪读
ufo22940268
2017-12-03 08:05:46 +08:00
问题解决了,原来是 hive-site.xml 需要加到 classpath 里面去.这样子 spark 才会去读.

因为之前用的是 pyspark, 所以没有这个步骤

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/411499

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX