arXiv cs.AI· Kaiser Sun, Bernal Jimenez Gutierrez, Hongjun Liu, Jingyu Zhang, Jie Gao, Mark Dredze, Daniel Khashabi·· 9 天前AI 评分33
准确但不够谦逊：知识冲突下 LLM 智能体的认知谦逊评估
Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict
AI 导读
研究提出用认知谦逊（EH）评估 LLM 智能体在知识冲突下的表现，通过 Identify、Solve、Escalate（ISE）三个轨迹级行为维度，在受控冲突与多步执行中的自然冲突两种设定下评测四个智能体。
正文 · AI 翻译
摘要：当检索到的证据与智能体的先前信念相矛盾时，它是修正答案、承认不确定性，还是坚持错误的结论？现有的智能体系统评估主要关注任务成功率，对智能体如何处理此类冲突提供的洞见有限。我们提出从认知谦逊（EH）角度评估智能体：即智能体在任务执行过程中识别、应对并传达不确定性的意愿。我们通过三个轨迹层面的行为维度来操作化 EH：识别、解决和上报（ISE）。通过知识冲突——即骨干语言模型的参数化知识与其遇到的证据相矛盾，或两个上下文来源不一致的情况——我们评估两种冲突设置：（1）受控冲突，以及（2）多步智能体执行过程中自然发生的冲突，每种设置都配有匹配的无冲突对照组。对四个智能体的评估表明，更高的任务准确率并不一定对应更强的认知谦逊：一些高准确率配置在执行过程中识别出冲突，但并未在其错误的最终答案中传达未解决的不确定性。轨迹层面的分析进一步揭示，智能体常常在执行早期步骤中检测到冲突，但未能在后续步骤中保持或解决它们。最后，我们表明模型层面的干预可以提升 EH，但往往以任务准确率为代价，这表明认知谦逊源于骨干模型、智能体框架和评估环境之间的相互作用。
| Comments: | EMNLP 2026 Camera Ready |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.12360 [cs.AI] |
| （或 arXiv:2610.12360v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12360 arXiv 颁发的 DOI 通过 DataCite（待注册） |
|
| Journal reference: | EMNLP2026 |
Submission history
来自：Kaiser Sun [查看邮箱]
[v1]
2026年10月8日星期四 17:25:06 UTC（790 KB）
来源：arXiv cs.AI · arxiv.org