arXiv cs.CL· Joe Stacey, Hadas Orgad, Kentaro Inui, Benjamin Heinzerling, Nafise Sadat Moosavi·· 12 小时前AI 评分26
ProbeDrift：面向可靠 OOD 不确定性量化的探针鲁棒性系统评估
A Robust Evaluation of Probe Robustness: Lessons for Reliable OOD Uncertainty Quantification
AI 导读
研究团队提出 ProbeDrift 评估框架，训练超过 2,000 个监督式不确定性探针，覆盖多模型、多任务与多种分布偏移，发现现有方法在近 OOD 之外鲁棒性普遍较差。
正文 · AI 翻译
摘要：近期研究表明，大语言模型的隐藏状态包含可用于不确定性估计的信号，这激发了人们对高效基于探针方法的日益增长的兴趣。然而，现有方法的稳健性仍不明确，先前工作在显著不同的评估设置下报告了相互矛盾的结论。为解决这一问题，我们引入了 ProbeDrift，一个用于监督式不确定性探针的系统性评估框架，涵盖跨模型、任务和分布偏移的广泛 OOD 设置。利用 ProbeDrift，我们训练了超过 2,000 个探针，以厘清关键设计选择的影响，结果表明当前方法在近 OOD 设置之外稳健性较差。我们发现，稳健性由在分布内几乎不可见的设计决策驱动，包括特征类型、聚合策略和训练信号的选择。我们认为，稳健的不确定性估计需要稳健的评估。为此，我们发布了 ProbeDrift 作为一个轻量级 Python 库，其中包含支撑我们广泛评估的训练和测试划分。我们还展示了如何通过简单的 Hybrid Back-Off (HBO) 策略，将评估中的洞见直接转化为更稳健的方法。
| 评论： | 已被 EMNLP 2026 接收 |
| 主题： | 计算与语言 (cs.CL) |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2604.11662 [cs.CL] |
| （或 arXiv:2604.11662v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.11662 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Joe Stacey [查看邮箱]
[v1]
2026年4月13日星期一 16:11:33 UTC (1,195 KB)
[v2]
2026年8月30日星期日 16:23:41 UTC (1,210 KB)
[v3]
2026年10月21日星期三 10:45:47 UTC (1,210 KB)
来源：arXiv cs.CL · arxiv.org