arXiv cs.CL· Ponhvoan Srey, Xiaobao Wu, Cong-Duy Nguyen, Quang Minh Nguyen, Duc Anh Vu, Anh Tuan Luu·· 2 天前AI 评分22
从信号到迁移：大语言模型中基于探针的不确定性估计的因子化研究
From Signals to Transfer: A Factorised Study of Probe-Based Uncertainty Estimation in Large Language Models
AI 导读
一项因子化研究在匹配条件下系统比较了基于探针的不确定性估计方法，发现原始隐藏状态和注意力特征在域内难以被超越，但在分布偏移下结构化和压缩特征更稳健。提示词与标签构建方式显著影响探针行为，据此构建的基准预训练探针在开放式事实生成上保留了有效判别信号，性能可与有限标签目标域探针及采样估计器竞争。
正文 · AI 翻译
摘要：基于探针的不确定性估计（UE）已成为通过从模型内部信号中学习不确定性来检测大型语言模型（LLM）幻觉的一种重要方法。然而，近期方法在特征设计、训练数据构建和评估设置上同时存在差异，掩盖了真正驱动性能的因素。为解决这一问题，我们提出在匹配条件下对基于探针的 UE 进行因子化研究。我们的结果表明，原始隐藏状态和注意力特征在域内难以被超越。然而，在分布偏移下，结构化和压缩特征更为稳健，这表明仅凭域内性能不足以衡量进展。此外，提示和标签构建显著影响探针行为。基于这些经验性设计原则，我们构建了基准预训练探针，其在开放式事实生成上保留了有用的判别信号。相对于有限标签目标设置探针和基于采样的估计器，它们具有竞争力的性能表明，它们可以为后续目标域适应提供实用的起点。更广泛地说，我们的工作鼓励对基于探针的不确定性估计器进行面向部署的评估。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.27679 [cs.CL] |
| （或 arXiv:2606.27679v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.27679 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ponhvoan Srey [查看电子邮件]
[v1]
2026年6月26日星期五 03:23:15 UTC（1,151 KB）
[v2]
2026年10月15日星期四 04:02:29 UTC（2,310 KB）
来源：arXiv cs.CL · arxiv.org