arXiv cs.AI· Junjie Chen·· 3 天前AI 评分34
LLM Agent 基准评测何时不可靠：一项关于 oracle 失效与配置依赖测量的实证研究
When Agent Evaluation Becomes Unreliable: An Empirical Study of Oracle Failures and Configuration-Dependent Measurement in an LLM Agent Benchmark
AI 导读
一项实证研究审计了 LLM Agent 评测框架的 oracle 可靠性，发现某 Agent 基准的奖励函数缺陷会在评分前改变环境状态，经回放修正后 4,320 个 episode 的数据库通过标签从 4,194 降至 2,883，测得成功率从 94.3% 降至 65.5%。
正文 · AI 翻译
摘要：智能体评估框架是运行测试套件、生成输入并通过测试预言判定结果的软件系统。本文审计此类软件中评分表无法揭示的可靠性缺陷。
我们提出一种预言完整性审计方法，包含五项状态完整性不变量和三项已知答案对照。我们通过在两个任务领域和一个合成领域中注入七类预言缺陷来评估该方法。所有注入的缺陷类别均被检测到，且修复后的预言没有误报。将其应用于一个智能体基准测试时，审计揭示了一个奖励函数缺陷，该缺陷会在运行后评分之前改变环境状态。在 4,320 个回合中，基于重放的校正将数据库通过标签从 4,194 改为 2,883，并将测得的成功率从 94.3% 降至 65.5%。
我们还研究了依赖配置的测量效应。对 3,240 个回合进行的组件消融实验表明，智能体的策略文档、工具描述和工具错误字符串会影响观察到的轨迹可靠性，其中工具描述显示出最大的探索性效应（-9.2 个百分点），错误字符串最小（-5.3 个百分点）。第二个任务领域反转了语言效应的符号，因此该结果仅限于所测试的配置。
最后，我们报告了一个可移植性边界：该审计方法无法验证第二个独立实现的基准测试，因为无法从其记录的 API 调用日志中重建所需的参考终止状态。
本文发布了一个复现包，包含审计套件、故障注入目录、冻结记录、偏差日志和离线分析入口点，无需网络访问、API 密钥或模型调用。
| 评论： | 提交至 Empirical Software Engineering |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16067 [cs.SE] |
| （或 arXiv:2610.16067v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16067 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junjie Chen [查看电子邮件]
[v1]
2026年10月12日星期一 02:11:43 UTC（122 KB）
来源：arXiv cs.AI · arxiv.org