arXiv cs.CL· Ruomeng Ding, Tianwei Gao, Lianrui Geng, Mohit Bansal, Zhun Deng·· 3 天前AI 评分24
WAPA：面向多元对齐的福利感知偏好采集方法
Who Should We Listen to More? Welfare-Aware Preference Acquisition for Pluralistic Alignment
AI 导读
研究者提出 Welfare-Aware Preference Acquisition（WAPA），用辅助参考模型估计每条查询的边际福利增益与个体效用，在固定查询预算下按估计增益选择查询并更新受试者效用，并证明了该算法对估计福利目标的精确最优性。
正文 · AI 翻译
摘要：多元对齐需要在有限的人类反馈下容纳多样化的偏好。使用 AI 模拟器来标注偏好比较可以降低标注成本，但模拟准确度在个体之间的差异可能导致部分人的偏好在训练中得不到充分体现。我们研究如何在人群之间分配人类反馈以构建用于多元对齐的训练数据，以及这种分配如何影响训练出的策略。为使这种分配显式且可控，我们定义了一个基于个体监督效用（衡量标签质量）的社会福利目标。每个查询的边际福利增益取决于其预期监督改进、接收者的当前效用以及应用指定的优先级。福利感知偏好获取（Welfare-Aware Preference Acquisition, WAPA）使用辅助参考模型来估计查询增益和个体效用，然后根据估计的边际福利增益选择查询，同时更新接收者效用。我们证明了在固定查询预算和模型预测下，该获取算法对估计福利目标的精确最优性。在六个 Roleplay 数据集和四个 OpinionQA 区域上的实验表明，监督效果得到改善，且分配权衡可控。在四个 Roleplay 数据集上进行策略训练，提升了对已见和未见个体的偏好预测。当优先考虑指定群体和代表性不足的个体时，为 20% 的比较获取人类标签，可恢复完全使用 AI 生成标签训练的策略与完全使用真实标签训练的策略之间平均预测效用差距的 75-86%。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19035 [cs.LG] |
| （或 arXiv:2610.19035v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19035 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ruomeng Ding [查看邮箱]
[v1]
2026年10月13日星期二 18:27:17 UTC（2,128 KB）
来源：arXiv cs.CL · arxiv.org