arXiv cs.AI· Itai Zilberstein, Ioannis Anagnostides, Zachary W Sollie, Arman Kilic, Tuomas Sandholm·· 6 天前AI 评分29
面向策略优化的偏好引出方法及其在心脏移植与人类价值对齐中的应用
Preference Elicitation for Policy Optimization and Application to Aligning Heart Transplantation with Human Values
AI 导读
研究者提出一种针对线性效用的偏好引出算法，直接对分配结果而非算法决策进行成对比较，分两阶段：先通过切割平面快速收缩属性权重空间并为第二阶段热启动，第二阶段可证明收敛到用户效用函数。在心脏移植分配中，该算法学到的线性效用比基于 LLM 的方法更准确，据此优化的政策与人类价值对齐度接近最优，竞争比为 0.95，而现状政策仅为 0.66。
正文 · AI 翻译
摘要：偏好 elicitation 对于使 AI 系统与人类价值观对齐至关重要。先前的方法（例如用于器官分配的方法）通常要求利益相关者比较算法的决策（例如患者 A 与患者 B）。这种决策层面的方法将手段与目的混为一谈。相反，我们直接针对分配结果 elicitation 偏好，以学习用于策略优化的效用函数。我们构建了一种新颖的线性效用偏好 elicitation 算法，在实践中优于先前技术。我们的算法分为两个阶段。第一阶段通过成对比较学习切割平面，以快速缩小可能属性权重的空间，并通过消除被支配区域来热启动第二阶段。第二阶段则可证明收敛到用户的效用函数。我们将我们的技术应用于心脏移植分配，其中政策必须平衡诸如移植后结果、等待名单死亡率、地理便利性和公平性等相互竞争的目标。使用我们的算法，我们进行了一项用户研究，以学习和聚合与人类价值观对齐的效用函数。我们将线性表示与基于 LLM 的方法（这些方法被提供了用户的自然语言解释）进行评估比较，发现这些方法都没有比学习到的线性效用更准确。我们使用得到的效用函数来优化心脏移植政策，这些政策与人类价值观显著更好地对齐。与事后最优相比，现状政策的竞争比仅为 0.66，而我们的方法接近最优，竞争比为 0.95。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.28620 [cs.AI] |
| （或 arXiv:2608.28620v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.28620 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Itai Zilberstein [查看电子邮件]
[v1]
2026年7月29日星期三 13:33:10 UTC（208 KB）
[v2]
2026年10月9日星期五 13:18:06 UTC（214 KB）
来源：arXiv cs.AI · arxiv.org