arXiv cs.CL· Yu Hou, Hal Daum\'e III, Rachel Rudinger, William Walden·· 12 小时前AI 评分31
论文研究引用在偏好数据中的作用：人类偏好更多样但更少的引用，LLM 存在引用相关偏好
On the Role of Citations in Preference Data
AI 导读
一项 EMNLP 2026 论文研究引用在科学问答偏好判断中的作用，发现人类偏好更多样但总体更少的引用，而四个开源 LLM 在无法访问来源的情况下仍表现出部分引用相关偏好，且这些偏好取决于数据和具体模型。研究使用混合效应模型分析引用对成对判断的影响，并讨论了对偏好数据收集的启示。
正文 · AI 翻译
摘要：许多 NLP 任务要求系统在输出中提供归因——即对依据来源的引用。归因是抵御模型幻觉的屏障，也是用户验证模型输出可信度的手段。然而，在比较输出时，人类和 LLM 如何评估引用尚不清楚，而这一过程是奖励建模和现代 LLM 后训练的核心。本文在科学问答的背景下，研究了引用在人类评判者和四个开源 LLM 的偏好中的作用，利用混合效应模型考察引用对成对判断的影响。我们的主要发现包括：(1) 人类偏好更多样化的引用，但总体引用数量更少；(2) 与人类相比，LLM 表现出一些与引用相关的偏好，尽管它们无法访问来源，但这些偏好取决于数据和具体模型。我们进一步讨论了这些发现对偏好数据收集的启示。
| 评论： | EMNLP 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.21376 [cs.CL] |
| （或 arXiv:2608.21376v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.21376 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yu Hou [查看邮箱]
[v1]
2026年7月6日星期一 18:17:27 UTC（1,441 KB）
[v2]
2026年10月21日星期三 05:52:57 UTC（1,442 KB）
来源：arXiv cs.CL · arxiv.org