• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
wanghua1299
V2EX  ›  酷工作

招聘:急需:有开发想转 AI 质量评估的没?20-35K(AI 评测)

  •  
  •   wanghua1299 · 2h 56m ago · 399 views
    ### 必备(重点兼容开发转岗,门槛调整)

    1. 本科及以上,计算机、软件工程、AI 相关专业;2 年以上后端 / AI 应用开发经验,有 NLP、大模型应用、RAG、Agent 相关开发经验.
    2. 理解新一代 Agent 编排链路:熟悉 PI、DSH 这类基于状态机 / 分布式调度的 Agent 框架原理,理解任务规划、Function Call 工具调用、会话状态流转、长短记忆(Engram 类记忆)、多 Agent 协作、自我反思纠错,熟悉 Agent 典型失效模式。
    3. 扎实 Python 开发能力,能够独立编写复杂评测脚本、批量任务调度、结果解析
    4. 具备实验思维:能够设计控制变量对照实验,对比不同 Agent 策略、提示词、检索策略、模型版本、推理引擎的效果差异,产出量化评测报告。
    5. 了解大模型评测基础概念:任务成功率、幻觉率、F1、一致性、拒绝率、时延、吞吐;知道 LLM-as-judge 的优势与偏差风险,能设计校验规则提升判分稳定性。
    6. 具备端到端排查能力:看懂服务日志、链路现象,区分问题在模型、编排、检索、工具、推理调度哪一层。
    7. 深入理解复杂 rag 底层检索原理包括但不限于:向量检索、全文检索、知识图谱检索

    ### 优先加分项(开发背景候选人的亮点)

    1. 有 Agent、RAG、知识库应用开发经验,用过 LangGraph / AutoGen / LlamaIndex 等框架;接触过 DeepSeek Engram 这类记忆模块。
    2. 熟悉向量数据库、Elasticsearch 检索,懂向量检索效果评估。
    3. 了解大模型推理底层:vLLM / SGLang、KV Cache、Prefill、连续批处理、FP8/W4A16 等量化,能评估推理侧对 Agent 任务稳定性、时延的影响。
    4. 有工程平台开发经验:基于 Pytest、Hydra、MLflow、W&B、Prometheus+Grafana 搭建实验管理、指标看板、自动化流水线。
    5. 熟悉 Docker/K8s,能够做压测、资源观测、故障注入,看懂算力集群资源瓶颈。
    6. 做过标注规范、标注一致性校验(Cohen’s Kappa),或者做过数据治理、数据集构建相关工作。
    7. 有安全、攻防相关经验,了解大模型提示注入、诱导越狱等风险。
    8. 读过 Agent 相关评测论文、复现过开源 Agent 评测基准。
    5. 有标注平台 / 标注体系建设经验,做过评测标注规范、标注一致性校验(Cohen’s Kappa)。
    6. 熟悉 Agent 安全评测:提示注入、间接指令诱导、越权调用、数据泄露等攻防测试。
    7. 懂基础后端 / 容器:Docker、K8s,能看懂服务日志、链路追踪,定位并发、资源瓶颈。
    8. 有论文 / 开源 Agent 评测项目阅读、复现经验;了解 Agent 自我校验、反思机制的评测方法。
    9. 对于复杂 rag 多路召回融合场景有自己的理解和实践
    10. 更多的编程语言掌握能力,包括但不限于 go、rust、java、ts
    公司地址:江苏常州
    简历投递邮箱: [email protected] 邮件都会第一时间回复的,请大家广投简历,以邮件为准,回帖互动较弱。。。
    2 replies  •  2026-11-16 19:30:25 +08:00
    songxiangrong991
    1
    看了,远程可以做。之前做过 KAI 算力词元的 Flutter 交易客户端,细节发你帖子留的邮箱了。
    zld150
    zld150
    1h 7m ago
    2
    我也来投,哈哈。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2381 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 12:37 · PVG 20:37 · LAX 04:37 · JFK 07:37
    ♥ Do have faith in what you're doing.