arXiv cs.AI· Sanjit Dandapanthula, Shuvom Sadhuka, Samir Khan, Michael Oberst, Aaditya Ramdas, Alexandra Chouldechova·· 9 天前AI 评分27
如何在代理模型上做后训练：包络采样缓解奖励攻击
How to post-train on a surrogate: Envelope sampling mitigates reward hacking
AI 导读
针对 LLM 后训练中因代理奖励失准导致的奖励攻击问题，研究者提出包络采样（envelope sampling），通过最小化后训练模型遗憾上界来重校准 LLM 评判器。该方法可用拒绝采样或针对修改后奖励微调实现，在临床笔记生成和受控谄媚任务上，基于包络样本的重校准缓解了奖励攻击，而基于基座模型样本的重校准则无效。
正文 · AI 翻译
摘要：大型语言模型（LLM）通常针对 LLM 评判器和其他廉价替代指标进行后训练，因为真实奖励（如人类偏好）在大规模查询时成本过高。这种做法往往导致奖励黑客，即针对校准不当的替代指标进行强化学习会带来不良副作用。在本工作中，我们研究这样一种设定：少量 $n$ 个模型输出被标注了真实标签（例如来自专家评审），并在针对 LLM 评判器进行优化之前用这些标签对其重新校准。以往的评判器重新校准方法要么成本高昂，要么依赖启发式，而且众所周知，当替代指标在一组稀有输出上校准不当时，同策略采样会失效。在本工作中，我们提出包络采样（envelope sampling），这是一种有理论基础的评判器重新校准方法，其目标是在假设人类奖励和重新校准后的奖励位于评判器周围的 $L^2$ 球内时，最小化后训练模型遗憾的上界。我们给出了实用算法，通过拒绝采样或针对修改后的奖励进行微调来从包络中采样，并且在临床笔记生成和受控谄媚任务上的实验表明，在包络样本上进行重新校准可以缓解奖励黑客，而在基础模型样本上进行重新校准则不能。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；方法论（stat.ME） |
| 引用为： | arXiv:2610.11281 [cs.LG] |
| （或 arXiv:2610.11281v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11281 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Sanjit Dandapanthula [查看电子邮件]
[v1]
2026年10月8日星期四 05:48:31 UTC（71 KB）
来源：arXiv cs.AI · arxiv.org