arXiv cs.CL· Shaked Goldshtein, Yitzchak Grunbaum, Fabrizio Frasca, Guy Bar-Shalom, Haggai Maron·· 3 天前AI 评分27
GURI：用 Token 身份信息做 LLM 灰盒幻觉检测
Gray-Box Hallucination Detection in LLMs with Token Identities
AI 导读
研究者提出灰盒幻觉检测器 GURI，将候选 token 概率与逐 token 向量标识结合，让检测器不仅知道模型有多不确定，还能知道它在哪些候选词之间犹豫。在三个开源权重模型和三个问答基准上，GURI 把平均测试 ROC-AUC 从 72.09% 提升到 79.09%；在闭源 GPT-4.1 上从 67.39% 提升到 71.84%。
正文 · AI 翻译
摘要：大型语言模型常常产生流畅但事实错误的输出。灰盒检测器从生成过程中输出的 token 概率统计中识别此类幻觉，从而避免了对前沿模型不提供的隐藏状态进行白盒访问的需求。然而，这些检测器通常仅依赖由概率导出的表示，而忽略了候选 token 的身份。因此，它们可以观察到模型有多不确定，但无法得知它对什么不确定。于是，当“big”与“small”以及“big”与“huge”这两组词获得相同的概率分布时，它们无法区分模型是在这两组中的哪一组之间摇摆。
我们提出 GURI（Gray-box Uncertainty Representations with Identity），一种轻量级灰盒幻觉检测器，它将候选 token 概率与逐 token 向量标识符相结合。这揭示了模型考虑过哪些备选项，同时保留了灰盒设置的可访问性和可迁移性。在三个开放权重模型和三个问答基准上，GURI 将平均测试 ROC-AUC 从仅使用概率的基线的 72.09% 提升至 79.09%。在闭源 GPT-4.1 模型上，平均 ROC-AUC 从 67.39% 提升至 71.84%。在三个开放权重模型中，GURI 在 18 次有向跨模型迁移中的 17 次上优于迁移的仅概率基线，且无需微调。对于这三个开放权重模型，在模型固定的情况下，HotpotQA 与 TriviaQA 之间的跨数据集迁移相比迁移的 LOS-Net 将平均 ROC-AUC 提升了 3.76 个百分点。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19996 [cs.CL] |
| （或 arXiv:2610.19996v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19996 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shaked Goldshtein [查看电子邮件]
[v1]
2026年10月14日星期三 11:12:12 UTC（143 KB）
来源：arXiv cs.CL · arxiv.org