arXiv cs.AI· Soumya Nasipuri, Sayak Ray Chowdhury, Sanjukta Roy·· 10 天前AI 评分22
对齐中线性奖励的公理可满足性
Axiom Satisfiability of Linear Rewards in Alignment
AI 导读
针对线性社会选择中最小化非递减凸损失（含 BTL）拟合奖励无法满足 PO 与 PMC 的问题，研究者放松线性模型允许逐候选松弛，求出满足公理且带 margin η 的最小总松弛量线性奖励，并将最优总松弛量上界限定为 O(1)（当 η 不超过 O(1/m²)、m 为候选数时），且证明该速率紧致。
正文 · AI 翻译
摘要：从人类偏好数据中学习是使语言模型与人类价值观对齐的主要途径。在线性社会选择中，奖励是提示-响应对的固定特征表示的线性函数，Ge 等人[2024]表明，通过最小化任何非递减凸损失（包括 BTL）来拟合这样的奖励，无法满足 PO 和 PMC。此外，一旦要求输出是线性诱导的，任何仅读取多数关系的规则都无法满足 PO。我们追问，无论如何都强制满足这些公理需要付出什么代价。为此，我们放宽线性模型，允许每个候选者存在松弛量。我们计算满足公理且具有边际 $\eta$（两个奖励值之间所需的最小差值）的最小总松弛量的松弛线性奖励。我们的解在不对投票者或比较数据收集方式作任何假设的情况下满足这些公理。当 $\eta$ 至多为 $O(\frac{1}{m^2})$（$m$ 为候选者数量）时，我们将最优总松弛量界定为 $O(1)$。此外，我们给出一个实例迫使达到该界，从而得出结论：该速率在常数意义下是紧的。在实践中，候选者数量远超特征维度，且只有线性奖励才能对未见过的响应进行评估。因此，我们引入一种新方法，对线性部分每次出错的比较进行惩罚。它同时最小化总松弛量和违规次数，并用参数 $\lambda$ 在两者之间进行权衡。我们证明总松弛量在 $\lambda$ 中是单调的但会饱和：提高 $\lambda$ 会减少所部署线性奖励的违规次数并增加松弛量，但松弛量保持在 $(\eta+\Delta\sqrt{d})\lfloor m^2/4\rfloor$ 以下，其中 $\Delta$ 和 $d$ 分别是特征的直径和维度。在合成和真实偏好数据上的实验证实了我们的理论，并表明我们的方法输出的线性奖励优于线性 BTL。
| 评论： | 22 页，5 幅图 |
| 主题： | 计算机科学与博弈论（cs.GT）；人工智能（cs.AI）；机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.06892 [cs.GT] |
| （或 arXiv:2610.06892v1 [cs.GT] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.06892 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Soumya Nasipuri 先生 [查看电子邮件]
[v1]
2026 年 9 月 26 日星期六 15:24:29 UTC（110 KB）
来源：arXiv cs.AI · arxiv.org