arXiv cs.CL· Behzad Shayegh, Mohamed Osama Ahmed, Fred Tung, Leo Feng·· 10 小时前AI 评分38
LLM 能否对检索信息保持审慎？八款模型上下文确定性遵从性评估
Can LLMs Take Retrieved Information with a Grain of Salt?
AI 导读
研究评估八款 LLM 的“上下文确定性遵从性”，发现它们看到不确定上下文后无法复现此前输出、对表达的确定性响应失真，并过度依赖复杂上下文。作者提出结合先验提醒、上下文确定性重校准与上下文简化的交互策略，在不修改模型权重的情况下将遵从错误平均降低 25%。该工作被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：大型语言模型已展现出令人印象深刻的检索增强能力。然而，一个关键领域仍未得到充分探索：它们能否根据检索信息的确定性恰当地调整回答。这一局限在医学和金融等高风险领域会产生实际后果。我们评估了八个 LLM 在上下文确定性遵从方面的表现，衡量它们调整回答以匹配所表达上下文确定性的程度。我们的分析揭示了系统性局限：LLM 在观察到不确定的上下文后无法复现其先前的输出，以扭曲的方式回应所表达的确定性，并且过度依赖复杂的上下文。为解决这些问题，我们提出了一种交互策略，结合先验提醒（将模型自身无上下文时的回答反馈到提示中）、上下文确定性重校准和上下文简化。该方法在不修改模型权重的情况下，将遵从错误平均减少 25%，证明了交互设计在提升 LLM 可靠性方面的有效性。我们的贡献包括一个有原则的评估指标、对 LLM 不确定性处理的实证洞见，以及一种可移植的策略，用以提升各类 LLM 的上下文确定性遵从能力。
| 评论： | 被第四十届神经信息处理系统年会（NeurIPS 2026）接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.06919 [cs.CL] |
| （或 arXiv:2605.06919v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2605.06919 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Behzad Shayegh [查看邮箱]
[v1]
2026年5月7日星期四 20:29:22 UTC（359 KB）
[v2]
2026年11月6日星期五 17:37:04 UTC（472 KB）
来源：arXiv cs.CL · arxiv.org