arXiv cs.AI· Alina Hyk, Sandhya Saisubramanian·· 11 小时前AI 评分38
CLIPR：学习可迁移的潜在用户偏好，实现人类对齐决策
Learning Transferable Latent User Preferences for Human-Aligned Decision Making
AI 导读
CLIPR 框架将用户偏好表示为紧凑的自然语言规则集，在推理时用于人类对齐决策，在三个偏好模糊数据集上匹配或超越基线，LLM 调用量最多减少 96%。一个 LLM 学到的规则可原样迁移到其他 LLM，且方法能从规则损坏中恢复；30 人用户研究中 CLIPR 表现优于基线，并被评价为比持续反馈学习更省力。
正文 · AI 翻译
摘要：大语言模型（LLM）正越来越多地被用作许多应用中的推理模块，但它们往往难以做出与人类对齐的决策。与人类对齐的决策需要同时考虑明确陈述的目标以及塑造模糊情境应如何解决的潜在用户偏好。现有方法要么通过持续的逐次交互反馈来学习这些偏好，这对用户和智能体而言成本都很高，要么将其隐含在对话记录或与单一模型绑定的示例集中。我们提出 CLIPR（用于推断偏好与推理的对话式学习），这是一个将用户偏好表示为显式、紧凑的自然语言规则集的框架，并在推理时用于与人类对齐的决策。CLIPR 从对话输入中引出这些规则，监控决策准确率，并在性能意外下降时咨询用户。CLIPR 仅在不会降低已处理场景准确率的情况下，基于对话修订所学规则。在三个偏好模糊数据集上的评估表明，CLIPR 达到或超过基线，同时 LLM 调用次数比持续反馈偏好学习最多减少 96\%。我们的结果还表明，由一个 LLM 学到的规则可以原样迁移到其他 LLM，并且我们的方法能够从损坏的规则中恢复。在一项有 30 名参与者参与的用户研究中，CLIPR 优于基线，并被评价为比持续反馈学习所需投入更少。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.12682 [cs.AI] |
| （或使用 arXiv:2605.12682v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.12682 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sandhya Saisubramanian [查看电子邮件]
[v1]
2026年5月12日星期二 19:32:10 UTC（4,108 KB）
[v2]
2026年10月19日星期一 22:20:40 UTC（1,487 KB）
来源：arXiv cs.AI · arxiv.org