arXiv cs.AI· Lang Chen, Zongxin Xu, Borui Wang, Anran Liu, Shitong Chen·· 13 小时前AI 评分24
TACE：面向多模态 RLVR 的分布奖励校准与预算中性信用分配
Distributional Reward Calibration and Budget-Neutral Credit Assignment for Multimodal RLVR
AI 导读
研究团队提出两阶段估计器 TACE，用于改进 GRPO 中的优势估计：第一阶段用一维最优传输映射将奖励标准化为正态分布，第二阶段对轨迹内停止梯度的证据对比做秩校准并归一化 token 权重使均值为一，从而在保持信用总量与符号不变的前提下重新分配信用。作者证明了任务间矩均衡、确定性尾部界及质量守恒等性质，并在多模态推理基准套件上于多数基准取得最强结果，但并非所有设置都占优。
正文 · AI 翻译
摘要：我们重新审视了组相对策略优化（GRPO）中的优势估计，并观察到任何 token 级优势都允许一种两阶段分解：一个\emph{样本级基线化}步骤，将标量验证器奖励转换为可比较的序列级信号；以及一个\emph{token 级信用分配}步骤，将该信号分配到轨迹上。现有估计器通常只处理其中一个阶段：仿射基线保留了每个任务奖励律的形状，因此重尾和二元悬崖会传播到梯度中；而 token 级信用规则将每个 token 更新的幅度与原始置信度尺度绑定，并且不必守恒验证器发放的总信用。我们提出\textbf{TACE}（两阶段优势与信用估计），一种同时处理这两个阶段的两阶段估计器。在阶段~(S1)，我们用一维最优传输映射到标准正态分布来替代线性标准化，从而在任务间给出共同的总体奖励律，并确定性地限制有限样本离群值。在阶段~(S2)，我们在每条轨迹内对停止梯度证据对比进行秩校准，并重新归一化裁剪后的 token 权重使其均值为一，从而在 token 间重新分配信用，同时守恒其总质量和符号。我们证明了总体层面的任务间矩公平性、确定性尾部界，以及质量守恒、有界性和符号锚定性质，而这些性质是仿射基线和未归一化 token 权重所不满足的。在多模态推理套件上，TACE 在大多数基准上取得了最强结果，但并未在所有设置中占据主导地位。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.40250 [cs.AI] |
| （或 arXiv:2610.40250v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40250 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lang Chen [查看电子邮件]
[v1]
2026年10月29日星期四 15:20:12 UTC（1,222 KB）
来源：arXiv cs.AI · arxiv.org