arXiv cs.CL· J\'er\'emie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier·· 12 小时前AI 评分34
Kernel Token Contradiction：一种快速且有原则的 LLM 声明级不确定性量化方法
Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification
AI 导读
研究者提出 Kernel Token Contradiction（KTC），一种在白盒条件下计算 LLM 声明级不确定性量化的轻量方法，将候选 token 表示为半正定核并结合 token 矛盾分数，用 Von Neumann 熵量化不确定性。
正文 · AI 翻译
摘要：声明级不确定性量化（UQ）旨在通过评估大语言模型（LLM）输出中每条声明的事实性，来缓解 LLM 可靠性不足的问题。我们提出 Kernel Token Contradiction（KTC），一种在现实白盒条件下计算声明级 UQ 的轻量级方法。KTC 将 LLM 生成过程中涉及的候选 token 表示为一个半正定核，该核同时整合了 LLM 的条件分布和 token 矛盾分数。随后我们使用冯·诺依曼熵来量化该核的不确定性。为了估计 token 矛盾，我们开发了一种基于维基百科语料库频率统计的新方法。尽管仅使用 CPU，我们的方法相比基于交叉编码器的最先进 GPU 加速方法实现了超过 8.2 倍的加速，相比性能相当的仅 CPU 方法实现了超过 65 倍的加速。我们的评估涵盖两个基准、四种欧洲语言和 16 种不同模型。KTC 不仅与现有方法的平均性能相当，而且在高精度区间优于它们。这种计算效率与准确性的结合使得对 LLM 输出的实时监控在生产中变得可行。
| 评论： | 已被 NeurIPS 2026 接收发表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.22506 [cs.CL] |
| （或 arXiv:2608.22506v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.22506 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jérémie Dentan [查看邮箱]
[v1]
2026年8月23日 周日 16:55:02 UTC（474 KB）
[v2]
2026年10月27日 周二 10:31:11 UTC（569 KB）
来源：arXiv cs.CL · arxiv.org