TRACE：诊断智能体评测中的验证器脆弱性

查看 PDF HTML（实验性）

摘要：验证器分数如今既作为基准指标，也作为大型语言模型（LLM）智能体的训练奖励，而分数的变化通常被解读为能力的变化。但它也可能反映的是评估的变化。我们提出 TRACE，一种将分数变化从结论转变为可检验诊断的协议：它对评估的某一部分施加针对性改变，比较配对运行，检查智能体的行为是否改变，并对未改变的轨迹重新评分，以检验评分规则是否是原因。在一个包含 25 个合成任务的受控套件中，重命名工具使一个脚本化智能体的分数降低 0.250，尽管它执行的操作完全相同；在评分时恢复原始名称可完全消除这一差距，而同样的改动在第二个智能体上暴露出真实的行为失败。在公开的 $\tau^2$-bench 任务上，使用四个 LLM 智能体，一项初始的 30 任务研究发现了混合的奖励变化，其中一个明确效应未能复现。在随后针对 88 个新任务、每种条件重复运行的更大规模研究中，重命名工具或重新格式化工具输出使八个智能体-变化对中的七个奖励变化保持在 $\pm$0.10 以内，而故意误导的工具名称使每个智能体的奖励降低 0.20-0.44，表明该设置能够检测到真实效应。相同的重复运行会翻转 15-36% 的任务结果，因此单次运行比较无法将呈现效应与运行间变异区分开来。当固定轨迹以不同方式呈现时，两个前沿 LLM 评判者给出一致的判定，但在同一批记录中有 57% 彼此不一致，主要因为其中一个评判的是过程而非结果。因此，TRACE 将分数变化关于智能体的信息与关于测量的信息区分开来。

主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.11678 [cs.CL]
	（或 arXiv:2610.11678v1 [cs.CL] 为此版本）
	https://doi.org/10.48550/arXiv.2610.11678 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Radhika Gaonkar [查看电子邮件]
[v1] 2026年10月8日星期四 10:52:26 UTC（157 KB）