arXiv cs.AI· Akansha Kalra, Ellen R. Novoseller, Vernon J. Lawhern, Daniel S. Brown·· 11 小时前AI 评分31
P3L：无需标注者身份的多元偏好对齐框架
Steerable Pluralistic Policy Alignment from Anonymized Crowd Feedback
AI 导读
研究者提出 Preference-PCA Pluralistic Learning（P3L），一种无需标注者身份、从匿名众包反馈中通过 PCA 分解联合学习轨迹嵌入与偏好方向共享基的多元对齐框架。在多个具身控制任务上，P3L 实现可引导的个性化对齐，可泛化到离线数据集外的新用户，并保持有竞争力的 RL 与测试表现，同时大幅降低计算成本、支持可变的适配查询预算。
正文 · AI 翻译
摘要：多元对齐要求 AI 系统从偏好可能反映异质甚至相互冲突目标的多样化人群中学习，并针对个体用户个性化其行为。现有的多元对齐方法通常假设可以获取标注者身份，并依赖强大的预训练表示来建模个体偏好差异。我们提出 Preference-PCA Pluralistic Learning（P3L），这是一个新颖的多元对齐框架，它从异质众包反馈中通过 PCA 分解联合学习轨迹嵌入和偏好方向的共享基，且无需标注者身份。在测试时，我们的方法能够实现快速准确的个性化奖励学习和下游策略优化。在多个具身控制任务上的实验表明，P3L 能够实现可操控的个性化对齐，并可泛化到离线数据集之外的新用户（分布外用户），同时取得有竞争力的 RL 和测试性能，同时大幅降低计算成本，并支持可变的适应查询预算。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.26914 [cs.LG] |
| （或 arXiv:2610.26914v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26914 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Akansha Kalra [查看电子邮件]
[v1]
2026年10月17日星期六 06:14:59 UTC（2,609 KB）
来源：arXiv cs.AI · arxiv.org