描述:Spark Streaming Long Running Job,以 client 模式跑在 YARN 集群上,HDFS 启用 HA,整个集群启用 Kerberos 认证。在执行任务时,ApplicationMaster 可以正常重新 renew 新的 HDFS DELEGATION TOKEN,executor 端也可以正常拿到 AM 新生成的 Token (由 AM 写到 HDFS 的一个文件上)。但是 Driver 端无法正常拿到新的 Token。总是报 GSS Error 和 token not found in cache。
环境:CDH 5.13.1,hadoop-2.6.0-cdh5.13.1,spark 2.2.0 社区版
Google 了一圈,加了 --conf spark.hadoop.fs.hdfs.impl.disable.cache=true,说是在 HDFS HA 模式下,必须关掉 cache 功能,但是加上了并没有什么用。
有遇到过类似 TOKEN 问题过期的大佬吗?指点一下
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.