arXiv·· 16 天前AI 评分27
CARM：面向 LLM 强化学习的取消感知响应掩码
CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning
AI 导读
针对 LLM 强化学习后训练中采样响应因策略更新与 rollout/训练引擎差异而偏离策略的问题，研究者提出取消感知响应掩码 CARM。现有常用的序列级掩码规则基于采样 token 概率比的长度归一化几何均值，其带符号对数比会在序列内相互抵消，CARM 正是针对这一抵消现象设计的。
来源：arXiv · arxiv.org