arXiv cs.CY· Jinchang Zhang, Kaijun Jiang, Guoyu Lu·· 6 天前AI 评分27
LLM 如何利用证据线索？一项 500 场景基准研究
What Counts as Evidence? Epistemic Cue Utilization in Large Language Models
AI 导读
一项 500 场景的受控基准研究考察了 13 个 LLM 对来源、时间与呈现线索的利用情况，发现模型对来源可靠性的识别几乎一致，但当来源历史被替换时，其选择影响从可忽略到完全反转不等。对三个 Qwen 检查点的干预显示，事实重述提升了两个 27B 模型的可靠性敏感度，叠加额外加权原则后分别再提升 39.2 和 47.2 个百分点，而 9B 模型仅改变了对证据来源的敏感度。
正文 · AI 翻译
摘要：当来源相互矛盾时，究竟是哪些信息塑造了语言模型的判断？我们通过一个包含 500 个场景的受控基准以及五个互补的测试轨道来研究认知线索的利用，这些轨道分别区分线索识别、线索影响，以及来源、时间和呈现线索之间的竞争。在 13 个 LLM 中，对相对来源可靠性的识别几乎相同，但当来源历史被交换时，其影响却从可忽略不计到完全逆转选择不等。由此得到的画像区分了依赖来源历史的模型与对证据谱系、事件时间或呈现顺序更敏感的模型。随后，我们使用匹配的虚假材料、事实重述、结构化证据记录以及一个额外的加权原则，对三个 Qwen 检查点进行干预。重述提高了两个 27B 模型的可靠性敏感度，而加入该原则后，相对于账本又分别进一步提高了 39.2 和 47.2 个百分点。9B 模型则改变了对证据谱系的敏感度，却没有相应的可靠性反应。在这些干预过程中，已验证状态的准确率始终保持 100\%。总之，该基准和干预表明，识别认知线索与允许其影响判断是模型行为中两个不同且可通过实验测量的方面。
| 学科： | 计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.12788 [cs.CY] |
| （或 arXiv:2610.12788v1 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12788 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jinchang Zhang [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 22:45:26 UTC（549 KB）
来源：arXiv cs.CY · arxiv.org