arXiv cs.CL· Saiyue Lyu, Jerrold Huang, Yunbei Zhang, Janet Wang, Zhenting Wang, Yingqiang Ge, Haibo Zhang·· 12 小时前AI 评分42
卡住的 Agent 下一步该把 token 花在哪?推理期资源的因果归因
Where Should a Stuck Agent Spend Its Next Tokens? Causal Attribution of Inference-Time Resources
AI 导读
研究者提出 Banzhaf Resource Attribution(BRA)框架,在 MBPP+、HumanEval+ 的 194 个函数级失败和 SWE-bench Verified 的 126 个仓库级失败上评估六个模型,量化计算、信息、反馈三类推理期资源的边际贡献。
正文 · AI 翻译
摘要:推理时扩展通常被视为一个 token 预算问题,但失败的编码智能体可能寻求性质不同的资源:计算、信息或反馈。我们提出 Banzhaf 资源归因(BRA),这是一个受控析因框架,在保持失败状态和修订协议固定的情况下,衡量每种资源对修复的边际贡献及其交互作用。我们在来自 MBPP+ 和 HumanEval+ 的 194 个函数级失败以及来自 SWE-bench Verified 的 126 个仓库级失败上评估了六个模型。与任务相关的规范始终能改善修复,而公开测试反馈带来的增益很小,检索到的代码几乎没有增益。额外计算的价值随模型能力提升而下降,而信息仍然有用;资源通道大多表现出收益递减,尽管互补信息可以自我强化。然而,四个前沿模型中有三个在 95-100% 的情况下选择反馈,其获得的增益却低于均匀随机资源选择。因此,BRA 揭示了智能体偏好的资源与可测量地改善修复的资源之间存在差距。
| 主题: | 软件工程(cs.SE);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.28834 [cs.SE] |
| (或 arXiv:2610.28834v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.28834 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Saiyue Lyu [查看电子邮件]
[v1]
2026年10月20日星期二 18:59:01 UTC(211 KB)
来源:arXiv cs.CL · arxiv.org