arXiv cs.CL· Meng-Chen Wu, Umesh Bodhwani·· 12 小时前AI 评分31
大语言模型中的多元对齐：目标、人类参照与偏好表示
Pluralistic Alignment in Large Language Models: Objectives, Human References, and Preference Representations
AI 导读
一篇 arXiv 综述用两层分类法梳理大语言模型多元对齐研究：第一层区分 Overton 多元主义、可引导多元主义与分布多元主义，第二层区分聚合人群、国家地区和子群体三类人类参照。作者编码了 70 篇相关文献，发现现有工作集中于可引导与分布多元主义，符合协议的 Overton 多元主义仅出现在聚合人群层面。文章还为每种目标对应了所需证据，包括视角有效性、条件保真度与分布保真度。
正文 · AI 翻译
摘要：多元对齐旨在表征人类偏好中有意义的差异，而不是将异质判断坍缩为单一目标。然而，现有工作常常混淆三个不同的问题：模型应表现出何种多元行为、由谁的偏好来定义参照，以及何种证据足以证明成功。我们围绕一个两层分类法来组织文献。第一层区分：表征一系列受人类支持的视角（奥弗顿多元主义）、忠实地适应于指定的视角或偏好条件（可操控多元主义），以及匹配在目标人群中观察到的响应分布（分布多元主义）。第二层区分作为人类参照的总体人群、国家和地区以及子群体。偏好表征、实现机制、模态和证据质量被视为横切的设计选择，而非多元主义的额外形式。我们综合了一个受协议约束的语料库，包含 70 篇关于多元对齐及邻近领域的工作，使用“目标—人类参照”矩阵来映射现有方法并识别尚未充分探索的组合。编码文献集中于可操控多元主义和分布多元主义，而在我们所述协议下，符合条件的奥弗顿多元主义工作仅出现在总体人群层面。随后，我们将每个目标与支持它所需的证据联系起来，包括视角有效性、条件保真度、分布保真度、支持保持以及子群体估计中的不确定性。总之，该分类法和评估框架阐明了当前方法确立了哪些内容、其主张在何处超出了证据，以及未来系统如何能够表征分歧而不将变异误认为忠实的表征。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.24471 [cs.AI] |
| （或 arXiv:2610.24471v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.24471 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Meng-Chen Wu [查看电子邮件]
[v1]
2026年10月17日星期六 05:32:24 UTC（6,598 KB）
[v2]
2026年10月22日星期四 02:38:58 UTC（6,598 KB）
来源：arXiv cs.CL · arxiv.org