arXiv cs.AI· Shai Vardi, Jo\~ao Sedoc·· 13 小时前AI 评分29
为 LLM 建议引入“认知担保”：在缺乏真实答案时评估建议的可依赖范围
Epistemic Warrant for LLM Recommendations: Characterizing the Basis for Reliance When Ground Truth Is Unavailable
AI 导读
研究提出“认知担保”（epistemic warrant）这一决策层构念，并实现为 reliance certificate，通过四个层级的测试用行为证据评估 LLM 建议的支撑范围并划分担保类别。
正文 · AI 翻译
摘要：大型语言模型正越来越多地被用于支持组织决策。尽管其应用迅速且广泛，用户往往缺乏有原则的依据来判断是否应依赖某一具体建议。我们引入\emph{认知保证}（epistemic warrant），这是一个决策层面的构念，用于刻画某项建议所获支持的范围。我们通过一种依赖证书来操作化这一构念，该证书利用来自四个层级测试的行为证据来评估建议背后的保证，并将其归入某一保证类别。我们使用互补的构念效度证据来评估这一操作化，包括转换效度、已知组测试、独立人类共识、判别分析，以及跨模型和替代实现的稳健性。结果表明，该证书的表现符合理论预期：其转换实例化了预期的关系，证书分配在预先设定为代表递增保证水平的各组之间递增，且被赋予更强保证的建议与更高的独立人类共识相关。证书分配还捕捉到了言语化置信度之外的信息，且不能轻易用决策难度来解释。主要结论在不同模型和操作化方式下保持稳健。这些发现支持将依赖证书作为认知保证的一种操作化，用于在缺乏真实标签时评估某一特定 LLM 建议所获支持的范围。
| 评论： | 43 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.04127 [cs.AI] |
| （或 arXiv:2609.04127v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.04127 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shai Vardi [查看电子邮件]
[v1]
2026 年 9 月 3 日星期四 17:25:20 UTC（253 KB）
[v2]
2026 年 10 月 29 日星期四 13:10:33 UTC（267 KB）
来源：arXiv cs.AI · arxiv.org