arXiv cs.CL· Wenchang Wang, Yue Song·· 11 小时前AI 评分52
当文本沉默时：证据不足下LLM标注的记忆捷径与有效性
When the Text Is Silent: Memory Shortcuts and the Validity of LLM Annotation under Evidence Insufficiency
AI 导读
研究提出LLM标注中的“记忆捷径”现象：当文本证据缺失时，模型会转而依赖对知名人物的先验记忆。作者用995位公众人物及每人4个对照名构造反事实文本，对三个商用LLM各测试121,594条提示。
正文 · AI 翻译
摘要：大语言模型（LLM）越来越多地被用于为社会科学研究、内容审核和训练数据标注文本。它们对现实世界实体的广泛知识引发了一个担忧：在标注文本时，它们是依赖文本中的证据，还是用自己已知的信息来替代？我们将这种行为称为记忆捷径，并考察它何时出现、什么会放大它，以及如何缓解它。我们使用 995 位广为人知的公众人物，并为每位人物匹配四个对照姓名，构建了将文本证据与先验知识分离的反事实文本，并在五个阶段中对三个商用 LLM 各评估了 121,594 条提示。我们发现了一种显著的不对称性。尽管所有模型几乎都能识别每一位人物，但当两者冲突时，没有一个模型会优先依据记忆而非文本。相反，捷径出现在证据缺失时：对其中一个模型而言，与合成姓名相比，著名姓名使被记住的职业、年龄和国家的比率分别提高了 17.0、14.9 和 6.8 个百分点。这些效应仅对可识别的人物出现，并且由此产生的标签中有 98.6% 在关于同名者的事实上是正确的，同时没有一个得到文本支持。评估威胁和答案相关奖励分别将捷径放大了 8.7 和 12.4 个百分点。在两个模型中，著名姓名还将文档稀少的申请者的领导力评分分别提高了 0.22 和 0.28 分。同名提醒和姓名遮蔽各自都能消除这些捷径，但在性别标注上存在权衡。因此，LLM 标注可能在事实上正确，却在方法论上无效。可信的 LLM 标注需要审计：测试证据缺失、考虑标注指令中的激励因素，并评估缓解措施的属性特定权衡。
| 评论： | 15 页，5 张图 |
| 主题： | 人机交互（cs.HC）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02273 [cs.HC] |
| （或 arXiv:2611.02273v1 [cs.HC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02273 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenchang Wang [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 22:54:49 UTC（33 KB）
来源：arXiv cs.CL · arxiv.org