arXiv cs.AI· Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li·· 14 小时前AI 评分34
面向噪声偏好数据的大语言模型无偏对齐框架
Unbiased Alignment for Large Language Models with Noisy Preferences
AI 导读
研究提出无偏对齐理论框架，包含 Unbiased Reward Model（URM）损失与 Unbiased Direct Preference Optimization（UDPO）损失，通过数学修正偏好噪声带来的失真，使模型可直接从噪声数据集中无偏训练，无需干净的 ground-truth 监督。
正文 · AI 翻译
摘要：大型语言模型与人类偏好的对齐通常通过基于人类反馈的强化学习或直接偏好优化来实现。然而，这些方法容易受到现实世界偏好数据集中普遍存在的显著噪声的影响。为解决这一关键问题，我们提出了一个无偏对齐的理论框架，引入了无偏奖励模型（URM）损失和无偏直接偏好优化（UDPO）损失。通过数学上校正偏好噪声引起的失真，我们的新目标函数能够直接从噪声数据集中进行无偏模型训练，而无需干净的基准真值监督。我们提供了严格的理论分析，证明我们的方法具有噪声容忍性、参数向下兼容性和分类校准性。跨多个数据集的综合实验表明，我们的方法优于最先进的基线。代码见：此 https URL。
| 评论： | 被 ICML 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.03248 [cs.LG] |
| （或 arXiv:2607.03248v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.03248 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jialiang Wang [查看电子邮件]
[v1]
2026年7月3日星期五 12:04:43 UTC（1,699 KB）
[v2]
2026年10月26日星期一 15:40:42 UTC（1,700 KB）
来源：arXiv cs.AI · arxiv.org