请教一个问题， 怎么获取 hive on mr 任务的 jobId ？

2022-06-20 14:43:47 +08:00
 scalaer

一个 hive sql 使用 mapreduce 引擎， 运行生成 1 个或者多个 yarn 任务

想对这条 sql 使用的资源进行统计，需要获取下这条 sql 生成的 job id

请问下 v 友可以通过哪些方式获取?

664 次点击
所在节点    问与答
4 条回复
scalaer
2022-06-20 14:54:40 +08:00
sql 是通过 jdbc 客户端方式提交的
dtgxx
2022-06-20 19:22:12 +08:00
应该通过 spark 的 applicationId 就可以通过接口拿到应用运行的那些信息了吧
greengreengo
2022-06-21 09:50:55 +08:00
访问 yarn 的默认 19888 端口，查看 yarn 历史任务，里面有 job id
scalaer
2022-06-21 11:56:50 +08:00
@greengreengo 想实现通过客户端提交的方式，获取到 job id ，然后调用 job history server 接口

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/860876

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX