arXiv cs.AI· Andrew Zhang, Chengzhan Li·· 6 天前AI 评分20
Agent Step Value：审计黑盒智能体轨迹中的评估通道敏感性
Agent Step Value: Auditing Evaluation-Channel Sensitivity in Black-Box Agent Traces
AI 导读
研究者提出 Agent Step Value（ASV），以通道索引的前后目标边际增益来审计黑盒智能体轨迹的评估通道敏感性。在冻结的 PubMed 问答转换上，跨通道增益符号在 48.3% 的比较中不一致，而同通道重试仅 0.3%。匹配的 512-token 源契约实验显示，仅源生成可恢复正向均值方向并移除解析器检测到的支持声明，表明生成支持抬高了检索前基线。
正文 · AI 翻译
摘要：在评估通道间复用评估器导出的步骤奖励会引发一个测量问题：所指定的方向是否保持稳定？我们将 Agent Step Value（ASV）定义为按通道索引的前/后目标边际增益，并通过匹配的 2x2 设计识别状态与通道的交互作用。在冻结的 PubMed 问答转换中，跨通道增益符号在 48.3% 的比较中不一致，而同通道重试仅为 0.3%。转换交互作用的符号几乎均衡（中位数 +0.014；10% 截尾均值 -0.033），但在经验目标混合下，不对称的负向幅度产生了正的直接均值和负的生成视图均值。等目标加权保留了负的均值交互作用，但未保留这种严格的均值反转。匹配检索设计将负向成分定位到生成视图坐标，并在三项改变读出和评估器堆栈的符号检验中保持其方向。在匹配的 512 token 源契约后续实验中，仅源生成在带伪影的检索上恢复了正的均值方向，并从无伪影的前状态视图中移除了解析器检测到的支持声明。这些结果支持一种解释，即生成的支持抬高了检索前基线。由此产生的审计可以在步骤奖励被复用之前定位通道敏感性并测试干预。
| 评论： | 已被 REALM Workshop @ EMNLP 2026（第二届智能体语言模型研究研讨会）接收。16 页，5 幅图。两位作者贡献相同 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.04419 [cs.AI] |
| （或 arXiv:2607.04419v5 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.04419 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chengzhan Li [查看电子邮件]
[v1]
2026 年 7 月 5 日周日 17:27:56 UTC（740 KB）
[v2]
2026 年 7 月 7 日周二 17:26:47 UTC（50 KB）
[v3]
2026 年 7 月 13 日周一 16:54:28 UTC（135 KB）
[v4]
2026 年 7 月 17 日周五 17:39:00 UTC（152 KB）
[v5]
2026 年 10 月 9 日周五 12:43:19 UTC（155 KB）
来源：arXiv cs.AI · arxiv.org