arXiv cs.AI· Duc Anh Vu, Thong Nguyen, Hoang Pham, Ponhvoan Srey, Luu Anh Tuan·· 10 小时前AI 评分24
OGC-DPO：面向多目标对齐的目标条件主动偏好学习框架
Objective-Conditioned Active Preference Learning for Multi-Objective Alignment
AI 导读
OGC-DPO 是一个面向 LLM 多目标对齐的主动偏好学习框架，将每个（回复对，目标）组合视为独立查询，用策略自身的隐式梯度衡量信息量，无需外部奖励模型，并优先选择最能扩展各目标梯度覆盖的查询。在不同目标数量的实验中，相同标注成本下 OGC-DPO 优于现有主动偏好学习方法。分析还表明，有信息量的偏好冲突并非一律有害，反而能提供有用的策略训练信号。
正文 · AI 翻译
摘要：将大型语言模型（LLM）与多个目标（如有用性、无害性和诚实性）对齐，通常依赖于对每个目标的偏好判断，导致标注成本随目标数量线性增长。主动偏好学习可以通过选择预期其标签最能改变策略的比较来降低这一成本。现有补救措施要么缺乏面向多目标设置的、能感知目标的查询选择机制，要么将冲突偏好视为有害，从而将其排除在训练数据之外。我们提出 OGC-DPO（目标条件梯度覆盖 DPO），这是一个主动学习框架，它将每个（响应对，目标）组合视为一个独立查询，并通过策略自身的隐式梯度衡量其信息量，而不依赖外部奖励模型。随后，OGC-DPO 选择最能扩展每个目标梯度覆盖范围的查询。在不同目标数量下的实证实验表明，在相同标注成本下，OGC-DPO 优于现有的主动偏好学习方法。进一步分析表明，有信息量的冲突并非一律有害，而是能提供有用的策略训练信号。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05506 [cs.LG] |
| （或 arXiv:2611.05506v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05506 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Duc Anh Vu [查看电子邮件]
[v1]
2026年11月3日星期二 19:04:16 UTC（213 KB）
来源：arXiv cs.AI · arxiv.org