arXiv cs.AI· Zhen Li, Shuai Zhang, Yanggan Gu, Yiming Zhang, Yang Yu, Mingfa Feng, Congkai Xie, Shuang Yu, Junjie Lai, Hongxia Yang·· 10 天前AI 评分24
TRIAGE：面向原生 NVFP4 强化学习的方向感知失配稳定方法
TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning
AI 导读
TRIAGE 是一种方向感知的稳定方法，通过段级诊断选择性再平衡策略梯度更新，并对残余严重失配做有界修复，同时保留采样器与学习器上的原生 NVFP4 W4A4 前向执行。在 Qwen3-4B 和 Qwen3-30B-A3B 上，该方法在整个训练周期内保持优化稳定，在五个数学推理基准上达到全精度水平，rollout 吞吐量较 BF16 最高提升 2.3 倍。
正文 · AI 翻译
摘要：低精度执行可以大幅加速大语言模型的强化学习（RL），但学习器与采样器执行之间的差异可能使策略优化不稳定。在本文中，我们刻画了这种不匹配与策略梯度方向之间的相互作用，区分了局部放大与收缩的更新贡献，而仅凭不匹配幅度无法识别这些贡献。在原生 NVFP4 运行中，我们观察到两个放大区域之间早期出现失衡，偏向负优势、负差距的更新。在失配全局扩散之前，其尾部 token 会集中在很小一部分响应片段中。受这些发现启发，我们提出了 TRIAGE，一种方向感知的稳定化方法，它利用片段级诊断来选择性地重新平衡策略梯度更新，并对残余的严重失配施加有界修复。TRIAGE 修改优化目标，同时在采样器和学习器上保留原生 NVFP4 权重与激活 4 位（W4A4）前向执行。在 Qwen3-4B 和 Qwen3-30B-A3B 上的实验表明，在整个评估训练周期内优化稳定，并在五个数学推理基准上达到全精度水平性能，而带有 TRIAGE 的原生 NVFP4 相比 BF16 可提供最高 2.3 倍的 rollout 吞吐量。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07043 [cs.LG] |
| （或 arXiv:2610.07043v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07043 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhen Li [查看邮箱]
[v1]
2026年10月5日星期一 00:53:11 UTC（1,669 KB）
来源：arXiv cs.AI · arxiv.org