• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
Uki99
V2EX  ›  酷工作

上海大模型评测工程师岗位!

  •  
  •   Uki99 · 6h 4m ago · 307 views
    软件工程师(职级 P6/P7 )

    「岗位职责」
    核心目标:设计能真正“难住”并检验顶级大模型的编程任务,同时搭建极其稳健的自动化评测体系。

    具体包含:
    • 前沿任务设计:深挖当前大模型在真实软件工程中的能力边界与短板,设计具备高挑战性的编程任务(涵盖场景描述、真实代码库与运行环境)。
    • 自动化评分系统:开发高覆盖率的测试代码(单元、集成、端到端测试),结合大模型 Rubric ,实现低人工干预的自动化、精准评分。
    • 质量验证与调优:不断“攻击”和优化评分器,确保评判结果公正、稳定、防作弊(可复现且无漏判/误判),保障评测基准的绝对公信力。
    • 模型行为诊断:深入分析模型的运行日志与失败轨迹,排除“题意不清”或“测试 bug”等工程噪音,精准确认失败原因,为模型能力提供真实反馈。
    • AI 协同开发:日常工作中需高频使用 Claude 、Cursor 、Codex 等 AI 智能体协助编码、测试与日志分析。你将作为“AI 的把关人”,负责 Review 其产出并进行调试验证,对最终交付质量绝对兜底。

    资深工程师将深度参与任务架构评审及内部基础设施建设(例如:优化容器构建效率、升级自动化 QA 流程等)。


    「加入我们的原因」
    • 触达行业前沿:你将与全球顶级的大模型实验室深度合作,亲身参与并拓展 AI 的智能边界。
    • 硬核年轻团队:四位联合创始人都是 95 后。你将与充满活力的顶尖同龄人并肩作战,在高密度的交流中共同成长。
    • 纯粹的 Ownership:我们拒绝办公室政治,坚持“能力至上”的极客文化。只要你展现出实力,就能获得绝对的授权与发挥空间,不仅能实现个人的指数级成长,更有机会主导和探索全新业务线。

    「任职要求」
    • 编程底盘扎实:熟练掌握至少一门主流编程语言(如 Python / TypeScript / Go / C++),具备良好的代码品味和工程习惯。
    • 测试与环境经验:熟悉常用的测试框架(如 Pytest, Jest 等),了解 Docker 等容器化技术,能快速构建和隔离运行环境。
    • AI 原住民:日常习惯使用各种 AI 辅助编程工具,对大模型的能力边界有敏锐的直觉和浓厚兴趣。
    • 较真的极客精神:对代码质量和逻辑严密性有极高的要求,乐于钻研底层的 Bug ,具备优秀的 Problem-solving 能力。
    • 加分项:有开源项目贡献经验 / 熟悉编译原理或程序静态分析 / 了解前沿大模型评测基准(如 SWE-bench, HumanEval 等)。


    薪酬:底薪 50-100 万/年 15 薪,特别优秀可再议

    投递请联系
    VX1:Bellafafa_
    VX2:iamellen9987
    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2576 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 14:34 · PVG 22:34 · LAX 07:34 · JFK 10:34
    ♥ Do have faith in what you're doing.