confident-ai 开源 eval-skills：为编码智能体自动改进评测流程

构建你的评估。运行 Descent 来改进你的应用。

面向编码智能体的技能，引导你从第一次可检查的 AI 执行，到人工错误分析、经过验证的评分器、可重复实验和生产反馈。适用于 Claude Code、Codex、Cursor 以及其他支持 Agent Skills 的助手。

从你的应用所处阶段开始，而不是从指标目录开始。复用你已经拥有的追踪、数据集、评估器和审查工具。第一个有用的成果是一次你能理解的真实执行——而不是账户设置或仪表盘项目。

注意

本指南在本地、托管评分器路线中，对支持的基于模型的评分器默认使用 Jev。智能体会在设置前确认你的评判模式偏好。你可以选择其他评判者，或自带评判者；参见评判设置。

适用对象

• 产品经理和领域专家，审查真实示例并定义对用户而言什么是良好行为。
• 工程师，调试故障、比较变更，并为生产应用添加回归检查。
• 独立开发者和创始人，将 AI 原型转化为可测试、可改进的东西。
• 构建 AI 产品的团队，将共享审查、可信评分器和可重复实验引入工作流程。

将这些技能与编码智能体一起使用。带上你现有的追踪、数据集和评估，或从一次真实执行开始。

不适用于：训练基础模型、运行通用模型排行榜，或在未审查应用行为的情况下获得通用质量分数。该工作流程需要有人能够判断对产品而言什么是良好结果；智能体可以整理证据并实现检查，但无法替你提供这种判断。

评估工作流程

该工作流程为个人快速上手而设计，也可通过下方的完全托管路线扩展到团队审查和共享评估工作。从一个 AI 功能开始，在第一个缺失环节进入。复用可信证据，而不是重复已完成的阶段。

• 检查证据：查看你已有的内容——生产流量、追踪、数据集和评估。如有需要，捕获一次真实执行，并使其行为可理解。
• 审查示例：抽样真实案例，记录人工观察，说明失败原因及其重要性。
• 分析错误：将标注分组为失败模式，与审查者一起完善，并根据频率和影响对问题排序。
• 构建可信评估：整理可复用案例，对照人工判断验证评分器，并建立可复现的基线。
• 运行 Descent：一次测试一个改进假设，检查回归，并根据证据保留或回退变更。
• 维护：捕获回归，并将新的生产故障反馈到审查中。

打开全尺寸海报 · 阅读文本版

尚无法运行的原型可以产出场景和评估规范。它无法产出可测量的基线。拥有可信评估的生产团队可以直接进入实验或维护阶段。

安装

使用 Skills CLI 安装该套件：

npx skills add https://github.com/confident-ai/codex-eval-skills

Claude Code 用户还可以将该仓库作为插件安装：

/plugin marketplace add confident-ai/codex-eval-skills
/plugin install eval-skills@eval-skills

或从本地检出安装：

npx skills add /absolute/path/to/eval-skills

如需手动安装，请将 skills/ 下所需的目录复制到你的助手的 skills 目录中。每个 skill 都包含自己的引用；解析文件链接不需要同级 skill。安装完整套件以实现自动交接。如果只安装了一个 skill，它会说明下一个结果，而不是假设存在另一个 skill。

从两个主要入口点之一开始：

• Build 将你的应用从当前阶段推进到经过审查的案例、经过验证的评分器和可运行的基线。
• Descent 通过有界实验，针对该基线改进你的应用。

使用 eval-build 从真实失败中构建评估并建立可运行的基线。

使用 eval-descent 在不降低我们已验证的质量检查的前提下减少延迟。

已经知道任务？直接调用一个聚焦的 skill：

使用 eval-discover 帮我审查这些 trace 并识别失败模式。

使用 eval-error-analysis 将我们的审查笔记归类为失败模式并确定优先级。

使用 eval-grade 检查该评判器是否与我们的专家标注一致。

Skills

Descent 是我们的有界改进循环：选择一个有证据支持的假设，测试一项更改，检查回归，然后保留或回退它。这个名字描述的是减少失败；该过程不需要梯度。

三个示例旅程

打开全尺寸旅程海报。每个旅程描述如下。

原型，无日志。在本地运行一个真实请求。检查其完整执行过程。收集一些专家示例，然后针对可能的失败生成变体。在设计评分器之前审查输出。没有证据，不要声称合成场景能代表生产环境。

生产代理，大量 trace。复用现有的导出器。在客户任务、失败和正常流量中采样。在共享工作区或适配的本地查看器中审查。人工笔记成为失败类别，确认的示例成为回归案例。发现样本不能估计生产环境的普遍程度。

现有评估，分数存疑。从原始结果重新计算头条数字，检查评分器的误通过和误失败，并验证参考。在优化应用之前先修复测量。使用未更改的案例和评分器版本比较变体。

可运行的离线示例无需凭据即可演练可移植格式和确定性评分。工作流场景涵盖智能体行为和轨迹选择。

选择工作流的运行方式

同一流程适用于三种设置。在检查真实执行并确定下一步需求后再做选择。

设置说明和评判模式选择位于技能中。本地指审查、存储和编排；基于模型的评分器仍可调用外部服务。保留你的用例、标注和结果，以便日后更改设置。

此仓库提供什么

说明、可复用的本地审查脚手架、Python 和 TypeScript 追踪与运行器模板、评分器校准工具，以及可移植的交换示例。智能体会将这些适配到你的应用；人类审查者仍定义质量。大部分工作是发现和理解失败；评分器集成是这一过程的一部分。

• 可运行工具包：设置、审查、评分、运行和导出。
• 迁移说明：工作区布局和兼容性。
• 工件契约：可移植证据和实验记录。
• 开发与验证：测试和贡献预期。

许可证

根据Apache License 2.0授权。参见NOTICE了解署名信息。