arXiv cs.AI· Riccardo Formenti, Aditya Agrawal, Vikas Garg·· 3 天前AI 评分27
你的偏好模型可信吗？用 Stackelberg 博弈做对齐
Can You Trust Your Preference Models? Stackelberg Games for Alignment
AI 导读
研究将偏好模型集成体之间的分歧作为预测误差的代理，把寻找评估器可能反转偏好的比较样本建模为 Leader 与 Follower 之间的零和 Stackelberg 博弈。
正文 · AI 翻译
摘要：语言模型常常通过不完美的评估器与人类偏好对齐，而这些评估器的错误可能在优化过程中被利用。我们训练策略去寻找那些评估器可能反转潜在偏好的比较，从而为额外监督提供候选。由于在策略训练期间无法获得人类偏好，我们使用偏好模型集成之间的分歧作为预测误差的代理。我们将这一搜索表述为两个对立策略之间的零和 Stackelberg 博弈：Leader 试图最小化分歧，Follower 试图最大化分歧。对于一类一般的有限上下文 Stackelberg 博弈，我们建立了均衡的存在性，并在正则化条件下证明了唯一性和闭式刻画。我们提出了 Stackelberg Mirror Descent-Ascent（SMIDA），一种在表格设置下具有线性最后迭代收敛性的双时间尺度算法，并开发了其神经策略梯度类似物。使用合成 oracle 的实验支持将分歧作为预测误差的信息性代理。在留出数据上，训练后的策略优于参考策略，并提高了超过分歧阈值且反转 oracle 偏好的比较比例。
| 主题： | 人工智能（cs.AI）；计算机科学与博弈论（cs.GT） |
| 引用为： | arXiv:2610.15008 [cs.AI] |
| （或 arXiv:2610.15008v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15008 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Riccardo Formenti [查看电子邮件]
[v1]
2026年10月10日星期六 15:41:36 UTC（369 KB）
来源：arXiv cs.AI · arxiv.org