Microsoft Search Infra team,我们负责微软内部使用的大规模 AI 在线推理平台。我们正在在线系统的运维中使用 AI Agent。它调取日志、监控、部署与配置等多源数据完成问题诊断。积累了数百个真实生产问题,有完整的排查轨迹、评审结果和标注,这为 Agent 的评估与自我进化研究提供了真实的场景和数据。
我们重点关注以下前沿方向:
- Agent 自我进化:模型权重不变,让 Agent 从自身经验中自动优化外围系统(Harness),包括提示、技能、工具与记忆,代表工作如 Google Harness²、Meta-Harness、Agentic Harness Engineering
- 递归自我改进:Agent 不仅改进自己,也改进"改进的方法",代表工作如 Darwin Gödel Machine、Hyperagents、AlphaEvolve
- 经验学习与上下文工程:从成功和失败的经验中持续沉淀可复用的策略与技能,代表工作如 ACE、ReasoningBank、SkillOpt
- Agent 效果评估:Agent-as-a-Judge、过程级评估,以及检验自我进化是否可靠、能否泛化、成本几何
岗位职责
这个岗位要做两件事:让我们的 Agent 的效果能被准确衡量,并让它能根据历史表现自动改进。
实习期间,你将有机会参与以下部分工作:
- 搭建评测集:从历史 oncall 问题中整理一套评测集,和 oncall 工程师一起确认每个问题的正确结论、关键证据和合理的排查终点。同时把问题发生时的现场数据固定下来,保证同一个问题可以反复重跑,并且每次结果之间可以比较。
- 开发评测工具:实现"一条命令跑完整套评测"。指定一个 Agent 版本后,每个问题重复运行多次,输出准确率、结果稳定性、耗时和调用成本;还要能逐题对比两个版本,列出哪些题变好了、哪些题变差了。
- 校准评审 Agent:对比评审 Agent 的打分和工程师的判断,量化两者的一致程度,找出它容易误判的情况(例如把缺乏证据支持的结论判为可信)。在此基础上改进评审方式,让它的分数可以当作可靠的自动指标来用。
-
实现自动改进流程:
- 自动分析失败的排查记录,归类失败原因,例如漏查了某个数据源、停在表面现象没有追到根因、工具用错等;
- 根据失败原因,自动生成对 Agent 的修改,包括调查指引、排查技能文档、工具使用说明和经验库;
- 在评测集上验证这些修改,只保留整体有提升、并且没有让原本能解决的问题变差的修改。
- 上线与复盘:把验证通过的改进合入正式 Agent,跟踪它在真实问题上的效果,并定期整理实验结论与团队分享。
任职要求
- 计算机相关专业本科及以上在校学生
- 熟悉 Python 或至少一种编程语言
- 熟悉大模型及 AI Agent
- 熟练使用 AI 编程工具进行开发
- 能阅读英文论文,并动手复现或通过实验验证想法
- 好奇心强、学习能力强,能独立推进问题
- 每周至少到岗实习 3 天,实习期至少 5 个月(可酌情放宽)
加分项
- 有 LLM-as-a-Judge、Benchmark 或评测集构建经验
- 有相关论文发表或开源项目
你将获得
- 在微软大规模 AI 在线推理平台上,参与生产级 AI Agent 的前沿研究
- 与一线 oncall 工程师直接合作,接触真实生产问题
- 完整经历 Agent 从评测、改进到上线的全过程
- 改进直接合入正式 Agent,对 oncall 效率产生可衡量的影响
- 充足的模型调用额度(公司提供 GitHub Copilot subscription)
实习信息
- 工作地点:北京市海淀区 丹棱街五号微软大厦
- 到岗时间:近几个月内可到岗
- 投递方式:简历请发送至 [email protected]