arXiv cs.AI· Yufeng Tian, Jiahao Tang, Minghao Wu·· 3 天前AI 评分32
执行后学习：用动作特定信用分配提升策略能力
Learning after Execution with Action-Specific Credit
AI 导读
研究提出"执行后学习"方法，将程序执行结果作为中间状态，为同一策略触发额外的学习交互，并用动作特定信用分别给初始动作和纠正动作分配信用。在 Image-to-TikZ 的 945 个留出样本上，单次调用渲染成功率达 92.70%，高于继续单阶段 GRPO 训练相同迭代次数后的 88.25%。该纠正能力依赖中间状态，无法通过继续单阶段训练复现，代码已开源。
正文 · AI 翻译
摘要：执行通常被用作终端反馈：它为生成的程序打分，但所得状态不会用于另一次学习动作。执行后学习则将执行结果用作中间状态，为同一策略支持一次额外的学习交互。这带来了信用分配问题，因为这两个动作共享同一最终目标，但在轨迹中扮演不同角色。据此，动作特定的信用将初始动作的信用归因于最终轨迹结果，而将纠正动作的信用归因于相对中间状态的改进。Image-to-TikZ 可作为该设定的可执行视觉测试平台。在 945 个留出样本上，执行后学习在单次调用推理下增强了共享策略，并产生了执行后的纠正能力。单次调用渲染成功率达到 92.70\%，而经过相同数量的额外训练迭代后，持续单阶段 GRPO 为 88.25\%。这种纠正能力无法通过持续单阶段训练复现，且依赖于中间状态。替代的信用定义也会在相同轨迹上诱导出不同的组相对偏好。总之，这些结果表明可执行任务包含终端奖励之外的有用学习结构。代码见 此 https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14573 [cs.AI] |
| （或 arXiv:2610.14573v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14573 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yufeng Tian [查看邮箱]
[v1]
2026年10月10日星期六 04:45:16 UTC（1,638 KB）
来源：arXiv cs.AI · arxiv.org