arXiv cs.AI· Ruifeng Ren, Gun Ahn·· 11 小时前AI 评分32
闭环智能体评估：分层测量与自校准
Closed-Loop Agent Evaluation: Layered Measurement and Self-Calibration
AI 导读
研究者提出闭环评估方法，将已部署智能体的评估建模为有偏评分者与截断结果下的性能估计，覆盖 span、trace、对话与参与度四个层级，沿 Execution、Substance、Trajectory、Results 主轴测量，并以 Conduct 作为约束。
正文 · AI 翻译
摘要：智能体上线之后，团队想知道的是它是否在履行职责，而不只是它是否会抛出错误。然而，大多数评估都是一次性的：跑一次基准测试、看一眼追踪记录、得到一个分数。其结论既不会自我校验，也无法反馈给智能体。我们提出闭环评估，一种面向已部署智能体的评估方法。它将评估建模为在评分者存在偏差、结果存在删失情况下的性能估计，并要求每一层的结论都能追溯到原子数据，且由带版本的规则计算得出。该方法涵盖四个分析层级（span、trace、conversation 和 engagement），沿着 Execution、Substance、Trajectory 和 Results 这一主轴进行度量，将 Conduct 作为贯穿始终的约束，并使用 Provenance 和 Adjudication 组件来认证证据与评估者。由 Agent Factory 生成的评估者智能体携带这些组件，每个组件都配有一个领域知识包和一个适配器测试框架。两个循环闭合了评估过程：内循环审计证据、规则和指标本身，外循环利用逐组件的回归检查来驱动智能体改进。我们还给出了一个自动运行该流程的流水线。以业务分析智能体 SharpInsight 为案例，并将该方法移植到公开对话数据上，我们展示了问题在不同层级之间如何不同，以及基于证据与规则的判断如何比整体性评分更可靠（ICC 0.86 对 0.81；kappa 0.81 对 0.63）。
| 评论： | 7 页 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07051 [cs.AI] |
| （或 arXiv:2611.07051v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07051 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Gun Ahn [查看邮箱]
[v1]
2026年11月4日星期三 19:11:47 UTC（136 KB）
来源：arXiv cs.AI · arxiv.org