arXiv cs.AI· Sihwan Park, Sung-Yub Kim, Doohyuk Jang, Eunho Yang·· 3 天前AI 评分25
KV4-RL：用 INT4 KV Cache 量化加速 RLVR 异步 Rollout
KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization
AI 导读
KV4-RL 将免校准 INT4 KV cache 量化与对 attention sinks 及近期上下文的 INT8 选择性保护结合，缓解 INT4 rollout 带来的学习退化。
正文 · AI 翻译
摘要：异步 rollout 通过减少长尾生成期间的低利用率，提升了带可验证奖励的强化学习（RLVR）的效率。持续并发还会将上下文处理集中到更少的解码步骤中，从而增加每步的 KV 工作量。我们刻画了这种 \emph{KV 集中}现象，并发现，在匹配工作负载的对比中，KV 缓存量化带来的加速显著大于仅权重量化和权重-激活量化。然而，即使采用 token 级截断重要性采样（TIS），INT4 KV rollout 仍可能损害学习。我们提出 \emph{KV4-RL}，它将免校准的 INT4 KV 量化与对注意力汇和近期上下文的选择性 INT8 保护相结合。保护有限数量的位置可减少采样器失配，同时保留 INT4 的大部分加速效果。在 Qwen3-8B-Base GRPO 训练的 400 次迭代中，KV4-RL 相比 BF16 rollout 实现了 $1.80\times$ 的累计 rollout 加速和 $1.27\times$ 的累计完整迭代加速，在最后 50 次迭代中达到 $1.97\times$ 的 rollout 加速。在统一的 BF16 评估器下，对于 Qwen3-4B-Base 和 Qwen3-8B-Base，其最终六基准平均准确率与 BF16-rollout 训练的差距均在 0.5 个百分点以内。
| 评论： | 32 页，15 幅图，6 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14448 [cs.LG] |
| （或 arXiv:2610.14448v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14448 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sihwan Park [查看邮箱]
[v1]
2026 年 10 月 10 日星期六 01:24:03 UTC（866 KB）
来源：arXiv cs.AI · arxiv.org