arXiv cs.AI· Xingjian Diao, Tianyu Yang, Wenjun Huang, Xiangchi Yuan, Chunhui Zhang, Xingchen Zhao, Weiyi Wu, Haotian Xu, Soroush Vosoughi, Xiangliang Zhang, Jiang Gui·· 3 天前AI 评分26
ECHO:面向工具调用智能体的责任感知信用分配框架
Of Errors and Echoes: Responsibility-Aware Credit Assignment for Tool-Use Agents
AI 导读
研究者提出 Error-Chain-Aware Optimization(ECHO),一种将责任识别与信用分配分离的责任感知信用分配框架,通过冻结评判模型区分新引入错误、继承后果、遗漏纠正与成功纠正,并对共享下游后果只计一次、以来源出资的恢复约束修复自身错误的奖励。在六个工具调用基准、4B 与 8B 两个规模上,ECHO 在每个规模的六个基准中有五个取得最高分。代码已开源。
正文 · AI 翻译
作者:Xingjian Diao、Tianyu Yang、Wenjun Huang、Xiangchi Yuan、Chunhui Zhang、Xingchen Zhao、Weiyi Wu、Haotian Xu、Soroush Vosoughi、Xiangliang Zhang、Jiang Gui
摘要:强化学习改进了工具使用智能体,但即便有步骤级反馈,细粒度信用分配仍然具有挑战性。观察到的错误可能继承自更早的决策,而多个应负责的决策可能共享同一下游后果或参与后续恢复。我们提出 Error-Chain-Aware Optimization(ECHO),一个责任感知的信用分配框架,将责任识别与信用分配分离。一个冻结的评判器结合回顾性轨迹分析与基于策略可见前缀的决策时评估,以区分新引入的错误、继承的后果、错失的纠正和成功的纠正。ECHO 随后在应负责的决策之间对共享的下游后果只计数一次,并通过来源资助的恢复来约束修复自身引入错误的奖励,从而在终端监督之外产生有界的动作级监督。在 4B 和 8B 规模下的六个多样化工具使用基准上的实验表明,相较于所比较的基线有一致且显著的提升,ECHO 在每个规模下的六个基准中有五个取得最高分。这些结果支持将决策责任作为工具使用智能体中细粒度信用分配的有用基础。我们的代码可在 此 https URL 获取。
| 评论: | 29 页 |
| 学科: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2610.16027 [cs.CL] |
| (或 arXiv:2610.16027v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.16027 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xingjian Diao [查看电子邮件]
[v1]
2026年10月12日星期一 00:52:30 UTC(445 KB)
来源:arXiv cs.AI · arxiv.org