arXiv cs.AI· Mohammadreza Sediqin, Shivali Dalmia, Srinivasa Karthikeya Reddy Kovvuri, Abhishek Mukherji·· 10 天前AI 评分38
为 AI 智能体评测加上信任层：arXiv 论文提出 Agent Evaluation Trust Layer
A Trust Layer for Agent Evaluation
AI 导读
研究者提出面向 AI 智能体评测的 Trust Layer，在记录分数旁标注该结果是否可信，核查四项属性：结果是否由基准自身评分逻辑支持、通过答案是否来自可追溯计算、完成声明是否与实际相符、重复执行下是否稳定。
正文 · AI 翻译
摘要：确定性基准分数表明某个智能体获得了分数，但并不能说明这个分数是否名副其实、是否被如实报告，或者是否在第二次运行时依然成立。我们提出了一种面向智能体评估的信任层（Trust Layer for Agent Evaluation），这是一个附加的事后框架，它在每个记录的分数旁边报告该分数是否可信。它验证四个属性：结果是否得到基准自身评分逻辑的支持；通过的答案是否通过可追溯的计算获得；智能体的完成声明是否与实际发生的情况相符；以及结果在重复执行下是否稳定。前三个属性仅使用已保存的产物；第四个属性会重新运行智能体。模型判断仅在多数投票下对证据进行标注；所有判定都遵循确定性规则，且绝不修改记录的分数。将其应用于来自 Agents' Last Exam 的 108 个任务上的五种智能体配置后，每个模型都显示出没有可追溯计算的通过运行（比率相差十倍）、被证实的虚假完成声明，以及不稳定的结果：18-46% 的任务在五次运行中不能保持在同一分数区间。只有 22.6% 的记录通过项满足全部四项检查（95% CI 15.0-32.6，n=84）。衡量智能体能够做什么与验证它确实做到了，是两个不同的问题，而当前的基准只解决了第一个。
| Subjects: | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07274 [cs.AI] |
| （或使用 arXiv:2610.07274v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.07274 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammadreza Sediqin [查看电子邮件]
[v1]
2026年10月5日星期一 19:15:37 UTC（90 KB）
来源：arXiv cs.AI · arxiv.org