arXiv cs.CL· Malavika Suresh, Rahaf Aljundi, Ikechukwu Nkisi-Orji, Nirmalie Wiratunga·· 11 小时前AI 评分31
CLAP：跨层注意力探测实现细粒度幻觉检测
Cross-Layer Attention Probing for Fine-Grained Hallucination Detection
AI 导读
研究者提出跨层注意力探测（CLAP），将 LLM 整个残差流上的激活作为联合序列处理，用于幻觉检测。在五个 LLM 和三项任务上的评估显示，CLAP 在贪心解码与高温采样响应上均优于基线，可区分同一提示词下不同采样响应中的幻觉与非幻觉。基于此提出的“先检测后缓解”策略能比直接缓解更好地降低幻觉，且在分布外场景下仍保持高可靠性。
正文 · AI 翻译
摘要：随着大型语言模型（LLM）在各种应用中的大规模采用，由于其倾向于生成不准确的文本（即幻觉），可靠性问题日益受到关注。在本工作中，我们提出了跨层注意力探测（CLAP），这是一种用于幻觉检测的新型激活探测技术，它将整个残差流中的 LLM 激活作为联合序列进行处理。我们使用五个 LLM 和三个任务进行的实证评估表明，与基线相比，CLAP 在贪婪解码响应以及在更高温度下采样的响应上都提高了幻觉检测能力，从而实现了细粒度检测，即能够区分对给定提示的不同采样响应中的幻觉和非幻觉。这使我们能够提出一种使用 CLAP 的“先检测后缓解”策略，与直接缓解方法相比，可减少幻觉并提高 LLM 可靠性。最后，我们表明 CLAP 即使在分布外应用时也能保持高可靠性。代码见：此 https URL
| 评论： | 发表于 TRUST-AI workshop，ECAI 2025 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2509.09700 [cs.CL] |
| （或 arXiv:2509.09700v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2509.09700 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Malavika Suresh [查看邮箱]
[v1]
2025年9月4日星期四 14:37:34 UTC（451 KB）
[v2]
2026年10月16日星期五 13:07:39 UTC（450 KB）
来源：arXiv cs.CL · arxiv.org