arXiv cs.CL· Zihan Chen, Lei Nico Zheng, Di Zhu·· 12 小时前AI 评分31
研究揭示：用户声称的偏好与 AI 回复实际奖励的特征关联有限
Abstract Priorities, Concrete Rewards: How Stated Preferences Relate to What People Reward in AI Responses
AI 导读
基于 PRISM 数据集对 1,396 名参与者、21 个 LLM 的 29,347 条回复评分分析发现，回复长度、格式和拒答措辞等调查未问及的特征，与评分的关联至少与所调查属性的文本代理指标一样强。参与者若在书面反馈中要求更短回答，评分时对长度的权重更低，反之亦然；但其所声明的属性优先级无法预测这一权重。利用个人信息预测留出选择的最大提升仅 0.13 个百分点，而更强的池化模型为 1.11。
正文 · AI 翻译
摘要：基于大语言模型（LLM）构建的 AI 助手通过人类反馈进行训练，并日益根据用户声明的偏好进行个性化。然而，这些偏好与人们在回复中实际奖励的内容有多接近，仍不清楚。我们在公开的 PRISM 数据集中比较了声明偏好与揭示偏好，其中 1,396 名参与者报告了七种回复属性对他们的重要程度，然后对来自 21 个 LLM 的 29,347 条回复进行了评分。在对同一提示的回复中，调查从未问及的属性（如回复长度、格式和拒绝性语言）与评分的关联强度至少与所调查属性的文本代理指标相当。声明优先级是否与评分匹配取决于属性的测量方式：优先考虑某一属性的参与者更青睐被他人认为在该属性上表现强的模型所给出的回复，但并不青睐在该属性的文本代理指标上得分更高的回复。书面反馈更具说明性：要求更短回答的参与者（即使在更早的对话中）在评分中赋予长度的权重更低，而要求更长回答的参与者则赋予其更高权重。然而，他们对所调查属性的相对优先级并不能预测这一权重。为选择给出的理由更多反映感知属性而非测量特征。参与者在若干具体特征（尤其是长度）的权重上也存在稳定的个体差异，但由于每位参与者的对话中位数为 6 次，这些权重的估计效果很差。个人信息在预测留出选择上的最大增益为 0.13 个百分点，而更强的汇总模型为 1.11。因此，声明优先级能追踪 AI 回复的感知属性，但对评分所奖励的具体特征几乎无所说明，这一区别对偏好引出和 AI 个性化具有重要意义。
| 评论： | 27 页，5 幅图，30 张表。代码和数据可向作者索取 |
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | H.1.2; H.5.2; I.2.7 |
| 引用为： | arXiv:2610.30763 [cs.HC] |
| （或本版本的 arXiv:2610.30763v1 [cs.HC]） | |
| https://doi.org/10.48550/arXiv.2610.30763 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zihan Chen [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 05:34:33 UTC（111 KB）
来源：arXiv cs.CL · arxiv.org