arXiv·· 12 天前AI 评分35
TRACE：面向 MoE 语言模型 FP4 强化学习的 rollout 引导量化感知训练
TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
AI 导读
TRACE 是一个面向 MoE 语言模型 FP4 强化学习的量化框架，通过紧凑引导实现训练与 rollout 两条量化执行路径的对齐。现有 FP4 RL 方法只在训练和 rollout 路径上各自优化量化精度，未直接缩小两条量化路径之间的差异。
来源：arXiv · arxiv.org