arXiv cs.CL· Zheyu Zhang, Shuo Yang, Gjergji Kasneci·· 10 小时前AI 评分34
CoRP：将奖励扰动整合为单次更新的 LLM 后训练方法
Consolidating Rewarded Perturbations for LLM Post-Training
AI 导读
CoRP 是一种无梯度算子，可将 RandOpt 式权重空间扰动采样与推理时集成折叠为单个可部署模型，无需梯度流经语言模型。
正文 · AI 翻译
摘要：语言模型的训练后阶段通常被描述为由梯度下降实现的“采样-打分-更新”循环。近期以 RandOpt 为代表的一系列工作将这一循环迁移到权重空间，在预训练模型周围采样高斯扰动，并在推理时对奖励最高的前 K 个专家模型进行集成。虽然在同等训练算力下可与 PPO 和 GRPO 相媲美，但这种预测层面的集成对每个测试样本需要 K 次前向传播，且无法干净地扩展到自由形式生成。我们提出疑问：能否将受奖励的模型群体折叠为单个可部署模型，用一次整合更新替代推理时的集成？对 25 个模型-任务对的折半分析显示，每种情况下都存在可复现的低秩结构。我们将这一几何结构转化为 CoRP（Consolidating Rewarded Perturbations），一种无梯度算子，它结合了奖励加权聚合、兼容性感知重加权和留出验证门控，且语言模型中没有梯度流动。在从 0.5B 到 8B 的五个语言模型以及涵盖数学、代码和创意写作的五项任务上，CoRP 平均将基础模型提升 8.1 分。使用 RandOpt 十分之一的扰动预算，CoRP 超过单次推理的 RandOpt 6.5 分，并恢复了 50 次多数投票集成增益的一半以上，而每个测试样本仅需一次前向传播。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.31494 [cs.CL] |
| （或 arXiv:2605.31494v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.31494 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zheyu Zhang [查看邮箱]
[v1]
2026年5月29日星期五 16:16:13 UTC（182 KB）
[v2]
2026年11月6日星期五 01:45:14 UTC（183 KB）
来源：arXiv cs.CL · arxiv.org