arXiv cs.CL· Xiuyi Lou, Zicheng Xu, Yu-Neng Chuang, Hoang Anh Duy Le, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman·· 2 天前AI 评分23
TACO：面向 RLVR 的尾部感知信用校准方法
Right Answer, Wrong Tokens: Tail-Aware Credit Calibration for RLVR
AI 导读
针对 GRPO 类方法中"正信用污染"问题，研究者提出尾部感知信用校准方法 TACO，让策略自身作为参考，评估每个采样 token 相对策略局部预期的稀有度以计算尾部风险分数，并据此软性降低高尾部风险 token 的正信用、同时保留非零权重。在四个 LLM 和八个推理基准上，TACO 持续优于 GRPO 类基线，并提升训练稳定性，支持长程 RL 的持续性能增益。
正文 · AI 翻译
摘要：尽管强化学习（RL）提升了大语言模型（LLM）的推理能力，但 GRPO 类方法可能遭遇正信用污染失效模式。具体而言，均匀的信用分配会在成功轨迹中把局部错误的尾部 token 与有用 token 一并强化。为解决这一问题，我们提出尾部感知信用校准（TACO），它在没有 token 级错误标签的情况下校准分配给此类 token 的正信用。为此，TACO 让策略充当自身的参照，评估每个采样 token 相对于策略局部期望的稀有程度，从而计算尾部风险分数。以该分数作为潜在局部错误的代理，TACO 对高尾部风险 token 的正信用进行软性削减，同时保留非零权重，从而限制其被强化，又不消除学习有用稀有模式的机会。在四个 LLM 和八个推理基准上的实验表明，TACO 持续优于 GRPO 类基线。值得注意的是，TACO 还提升了训练稳定性，支持长时程 RL 中的持续性能提升。源代码见：this https URL。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.07976 [cs.CL] |
| （或 arXiv:2607.07976v2 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2607.07976 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Zicheng Xu [查看邮箱]
[v1]
2026年7月8日星期三 23:00:54 UTC（1,901 KB）
[v2]
2026年10月15日星期四 04:57:05 UTC（3,203 KB）
来源：arXiv cs.CL · arxiv.org