arXiv cs.AI· Ruiqi Gao (Alibaba Cloud, Alibaba Group)·· 2 天前AI 评分24
AgentEval：面向有状态智能体的证据受限评估系统
AgentEval: Evidence-Bounded Assessment of Stateful Agents
AI 导读
阿里云团队提出 AgentEval，一套将契约约束的评估记录贯穿工具执行、状态与事件捕获、报告认定和案例维护的系统，区分智能体做了什么、证据能证明什么、结论当前是否成立。在 32 次工具世界执行中，独立核查对全部 30 个完整回合达成一致，区分出已满足、被违反和未解决的义务；对 48 个证据视图的受控干预暴露出仅靠哈希校验会漏掉的 36 个绑定故障。
正文 · AI 翻译
作者：Ruiqi Gao（阿里云，阿里巴巴集团）
摘要：仅凭任务完成并不能判定一个有状态智能体是否履行了其义务，而一份已记录的判定也不能保证其支撑证据仍然有效。我们提出 AgentEval，一个将契约约束的评估记录贯穿工具执行、状态与事件捕获、报告资格认定以及案例维护的系统。它区分了智能体做了什么、证据确立了哪些事实，以及该结论在当前使用中是否得到支持。在 32 次工具世界管理运行中，独立检查在所有 30 个完整回合上达成一致，区分了已履行、已违反和未决的义务；两次中断的管理运行被保留。对 48 个证据视图的受控干预暴露出 36 个仅靠哈希检查会遗漏的绑定故障，且未改变智能体行为。Scenario Studio 将已审查的案例连接到 12 份两轮报告，其中包含 24 个独立核验的答案。一项针对 192 次留出执行的独立公共基准研究，在更广泛的任务失败中揭示了十个已完成的返回子目标，并分离出缺失证据的影响。这些研究表明，可执行的评估记录如何使范围、证据支持和报告复用在整个智能体评估工作流中可被检查。
| Comments: | 23 页，6 幅图 |
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2610.21177 [cs.AI] |
| （或 arXiv:2610.21177v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.21177 arXiv 通过 DataCite 颁发的 DOI（待注册） |
Submission history
来自：Ruiqi Gao [查看邮箱]
[v1]
2026年10月15日星期四 03:32:39 UTC（3,570 KB）
来源：arXiv cs.AI · arxiv.org