arXiv cs.AI· Alexandros Hollender, Sonja Kraiczy·· 10 小时前AI 评分31
基于损失的规则下 AI 对齐的公理约束研究
Enforcing Axioms for AI Alignment under Loss-Based Rules
AI 导读
研究发现，即便采用任意固定次数的多项式或任意固定宽度 d≥2 的单隐层 ReLU MLP 奖励模型，基于成对比较损失的训练仍可能违反帕累托最优（PO）。在理想化的均匀比较方向与等长比较设定下，线性奖励的损失训练可恢复 PO，这为通过数据集设计在宪法式对齐中恢复 PO 提供了依据。
正文 · AI 翻译
摘要：许多对齐方法，其中最著名的是基于人类反馈的强化学习（RLHF），通过最小化模型响应成对比较上的损失来训练奖励模型。受 Constitutional AI 等原则引导方法的启发，我们将每条原则视为一个投票者，该投票者依据该原则比较响应，例如更偏好更有帮助或毒性更低的响应。我们将这些投票者表示为固定嵌入空间中的线性方向，这一简化假设受到线性表示假说的启发。在这个线性社会选择模型中，Ge 等人（2024）表明，最优线性奖励模型可能违反帕累托最优性（PO）：从原则即投票者的视角来看，这意味着响应 A 可能比 B 帮助更小且毒性更大，却仍然获得更高的奖励。我们探究更丰富的奖励模型或对比较数据的改动能否在基于损失的训练中恢复 PO。我们表明，对于任意固定次数的多项式，以及任意固定宽度 $ d\ge 2 $ 且具有适当有限参数边界的单隐藏层 ReLU 多层感知机（MLP），PO 仍可能失效。随后，我们在具有均匀比较方向和相等比较长度的理想化设置中，在适当假设下恢复了线性奖励基于损失的训练中的 PO。这些结果促使将数据集设计作为在宪法式对齐中恢复 PO 同时保留基于损失训练的一种方法。
| 评论： | 发表于 ICLR 2026 会议论文集 |
| 主题： | 计算机科学与博弈论（cs.GT）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.13369 [cs.GT] |
| （或 arXiv:2611.13369v1 [cs.GT] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13369 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sonja Kraiczy [查看电子邮件]
[v1]
2026年11月9日星期一 23:44:36 UTC（39 KB）
来源：arXiv cs.AI · arxiv.org