arXiv cs.AI· Chengtao Jian, Kai Yang·· 11 小时前AI 评分20
TPO：面向 OOD 偏好对齐的三层分布鲁棒学习框架
TPO: Tri-level Distributionally Robust Learning for OOD Direct Preference Optimization
AI 导读
研究者提出 TPO，一个针对 OOD 偏好对齐的三层分布鲁棒框架，用分层矩形模糊集同时建模组级、提示级和偏好级三层分布不确定性。以 Wasserstein 距离实例化后，目标函数由闭式偏好级 margin 惩罚、提示级对抗嵌入扰动和最坏情况组重加权组成，各自由独立半径控制。该工作给出有限样本收敛保证，并在实验中验证 TPO 优于现有鲁棒 DPO 方法，论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：直接偏好优化（DPO）在观测到的偏好比较上最小化经验风险，隐含地假设训练偏好分布与部署偏好分布一致。在实践中，这一独立同分布假设往往不成立，因为偏好分布偏移在三个层级上呈现出自然的层次结构：组级偏移、提示级偏移和偏好级偏移。这种多层级分布失配给 LLM 的安全部署带来了关键挑战，然而现有的鲁棒 DPO 方法通常要么对联合偏好分布建模不确定性，要么只关注单一偏移来源，导致 OOD 偏好偏移的层次结构尚未得到充分探索。我们提出 TPO，一种用于 OOD 偏好对齐的三层级分布鲁棒框架，它通过分层结构的矩形模糊集联合建模全部三个层级的分布不确定性。通过以 Wasserstein 距离对其进行实例化，我们推导出一个可处理且可解释的目标，该目标结合了闭式偏好级边际惩罚、提示级对抗嵌入扰动和最坏情况组重加权，三者各由一个独立半径控制。我们建立了有限样本收敛保证，并在实验上验证了 TPO 相较于现有鲁棒 DPO 方法的有效性。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28229 [cs.LG] |
| （或 arXiv:2610.28229v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28229 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chengtao Jian [查看邮箱]
[v1]
2026年10月20日 星期二 13:57:52 UTC（95 KB）
来源：arXiv cs.AI · arxiv.org