arXiv cs.AI· Hao Yu·· 10 小时前AI 评分38
序数信用分配：仅凭比较进行多步强化学习
Ordinal Credit Assignment: Multi-Step Reinforcement Learning from Comparisons Alone
AI 导读
研究提出序数信用分配方法，在多步任务中仅用轨迹间两两比较、无需奖励函数或奖励模型即可完成强化学习。其期望更新等价于将策略梯度中的 reward-to-go 替换为对同时步仍在运行群体的胜率，确定性环境下按真实价值排序动作且最优策略稳定。
正文 · AI 翻译
摘要：策略梯度方法需要一个标量奖励，然而对于许多任务而言，并没有公式能刻画我们想要的东西，而判断两种结果中哪一个更好却很容易。我们研究仅接收此类比较的强化学习——没有奖励函数，也没有奖励模型——在多步任务中。轨迹组从共享状态出发，每个动作的信用由其回报与同一时间步其他轨迹的回报相比如何来决定。我们证明，期望更新就是策略梯度，其中回报被替换为针对该时刻仍在运行的群体的胜率，并以对手仍在运行的概率加权；在确定性环境中，该更新按真实价值对动作排序，且最优策略是稳定的，而在随机结果下，它偏好更常获胜的动作，而非均值更高的动作。接近平局处或来自位置偏差的标签噪声不会改变期望更新；只有同时翻转明确比较的噪声才会将信号减半。用相同比较训练的评论家消除了状态混杂，而不改变期望更新。在一项预注册研究中，涵盖六个环境、每个论断十个随机种子，与相同粒度的标量回报相比，比较没有造成可检测的性能损失；用相同比较学习奖励模型并不更好；当把百分之十的比较花在少数几个时间点上的所有配对上时，这些比较就足够了。使用真实 LLM 评判者时，比较比逐点评分准确 7-10 个百分点，且差距随着评判者更强而扩大。在手工编写的奖励所遗漏的某项要求上，用 LLM 评判者端到端训练时，策略在全部五个随机种子中都满足了该要求，但达成频率远低于使用 oracle 比较的情况，因为评判者在早期训练中占主导的接近平局的失败上接近随机水平。在 HalfCheetah 上，比较并未缩小与使用标量奖励的 PPO 之间的差距。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；统计理论（math.ST） |
| 引用为： | arXiv:2605.06375 [cs.LG] |
| （或 arXiv:2605.06375v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06375 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hao Yu [查看邮箱]
[v1]
2026年5月7日星期四 14:56:11 UTC（842 KB）
[v2]
2026年11月4日星期三 12:28:07 UTC（92 KB）
来源：arXiv cs.AI · arxiv.org