arXiv cs.CL· Miaobo Hu, Shuhao Hu, Xiaobo Guo, Xin Wang, Bokun Wang, Yina Sa, Daren Zha·· 11 小时前AI 评分31
ContractRL：面向可审计工具调用修复的受约束组相对策略优化
ContractRL: Shielded Group-Relative Policy Optimization for Auditable Tool-Call Repair
AI 导读
ContractRL 提出一种契约约束的顺序修复协议，将验证器引导的 JSON 修复建模为有界决策过程，用契约派生的动作掩码过滤非法的 RFC-6902 操作。
正文 · AI 翻译
摘要：结构化工具调用往往在仅有少量字段违反模式或执行契约后便失败。重新生成完整对象会扩大动作空间，并使重复修复难以审计。我们提出 ContractRL，一种契约约束的顺序修复协议，将验证器引导的 JSON 修复建模为有界决策过程。每一步中，策略观察候选对象、带类型的验证器反馈、JSON Pointer、不可变修复历史以及剩余预算；由契约派生的动作掩码在确定性验证器执行状态转移之前，过滤掉格式错误或被禁止的 RFC-6902 操作。我们为补丁、重试和弃权决策指定了一个契约约束的组相对目标，同时在轨迹冻结之前将规范目标和语义标签保持在在线状态之外。在相同验证器信息下，ContractRL 以 34.4 个生成 token 达到 0.9362 的语义成功率，而 Patch-SFT 为 0.9076 和 44.9 个 token，完整重新生成为 0.9148 和 137.2 个 token，每个种子 192 个案例、共五个种子。策略优化将语义成功率从监督式 ContractRL 的 0.9186 提升至 0.9375。与 Patch-SFT 进行的单独三种子配对评估得出语义差异为 +0.0396（95% CI $[+0.0137,+0.0662], p=0.0039$）。反馈、动作掩码、预算和模式偏移分析将这些增益与局部化纠正联系起来，而对抗性和多轮评估则刻画了剩余的失败模式。
| 评论： | 29 页，8 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.00328 [cs.AI] |
| （或 arXiv:2610.00328v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.00328 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Miaobo Hu [查看邮箱]
[v1]
2026 年 9 月 29 日星期二 08:38:26 UTC（1,483 KB）
[v2]
2026 年 10 月 16 日星期五 12:23:26 UTC（1,483 KB）
来源：arXiv cs.CL · arxiv.org