[Microsoft] AI Agent 研发实习生 - 北京

8 小时 23 分钟前
 sxw

Microsoft Search Infra team,我们负责微软内部使用的大规模 AI 在线推理平台。我们正在在线系统的运维中使用 AI Agent。它调取日志、监控、部署与配置等多源数据完成问题诊断。积累了数百个真实生产问题,有完整的排查轨迹、评审结果和标注,这为 Agent 的评估与自我进化研究提供了真实的场景和数据。

我们重点关注以下前沿方向:

岗位职责

这个岗位要做两件事:让我们的 Agent 的效果能被准确衡量,并让它能根据历史表现自动改进。

实习期间,你将有机会参与以下部分工作:

  1. 搭建评测集:从历史 oncall 问题中整理一套评测集,和 oncall 工程师一起确认每个问题的正确结论、关键证据和合理的排查终点。同时把问题发生时的现场数据固定下来,保证同一个问题可以反复重跑,并且每次结果之间可以比较。
  2. 开发评测工具:实现"一条命令跑完整套评测"。指定一个 Agent 版本后,每个问题重复运行多次,输出准确率、结果稳定性、耗时和调用成本;还要能逐题对比两个版本,列出哪些题变好了、哪些题变差了。
  3. 校准评审 Agent:对比评审 Agent 的打分和工程师的判断,量化两者的一致程度,找出它容易误判的情况(例如把缺乏证据支持的结论判为可信)。在此基础上改进评审方式,让它的分数可以当作可靠的自动指标来用。
  4. 实现自动改进流程:
    • 自动分析失败的排查记录,归类失败原因,例如漏查了某个数据源、停在表面现象没有追到根因、工具用错等;
    • 根据失败原因,自动生成对 Agent 的修改,包括调查指引、排查技能文档、工具使用说明和经验库;
    • 在评测集上验证这些修改,只保留整体有提升、并且没有让原本能解决的问题变差的修改。
  5. 上线与复盘:把验证通过的改进合入正式 Agent,跟踪它在真实问题上的效果,并定期整理实验结论与团队分享。

任职要求

  1. 计算机相关专业本科及以上在校学生
  2. 熟悉 Python 或至少一种编程语言
  3. 熟悉大模型及 AI Agent
  4. 熟练使用 AI 编程工具进行开发
  5. 能阅读英文论文,并动手复现或通过实验验证想法
  6. 好奇心强、学习能力强,能独立推进问题
  7. 每周至少到岗实习 3 天,实习期至少 5 个月(可酌情放宽)

加分项

你将获得

实习信息

484 次点击
所在节点    酷工作
2 条回复
Mungist
6 小时 32 分钟前
实习只面向应届生吗?
sxw
5 小时 40 分钟前
@Mungist 只要是在校生就行

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1257980

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX