跳到正文
arXiv cs.CL· Marco De Negri, Luca Sartori, Lorenzo Baggi, Moritz Reihs, Eduard Frank \v{D}urech, Mennatallah El-Assady, Valentina Pyatkin, Anna Hedstr\"om·· 2 天前AI 评分31

检测不等于预警:评估语言模型失败上的 token 级警报

Detection Is Not Early Warning: Evaluating Token-Level Alarms on Language Model Failures

AI 导读

研究者提出 PREWARN 评估协议,针对带标注起始点(onset)的模型失败,按应用选定错误率校准各监控器阈值,并相对 onset 对预警、检测、分类三项任务打分。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言模型的许多失败都始于某个特定的 token,即起始点。在生成过程中读取模型的监控器可以对已完成的回复进行分类、在失败已经开始后检测到它,或在失败开始前发出警告,而只有警告才能留出时间停止或引导生成。监控器通常用 AUROC 等回复级指标来评估,而这些指标忽略了监控器何时触发。我们提出 PREWARN,一种适用于任何带有标注起始点的失败的评估协议。它在验证数据上把每个监控器的阈值校准到为应用选定的错误率,运行监控器,并针对全部三项任务相对于起始点对其警报进行评分。作为案例研究,我们将其应用于三个开放语言模型中的重复性退化,以早期预警为主要任务,使用基于激活的线性探针和六个未经训练的基线。回复级指标在这种失败上已经饱和,而一个只读取回复长度的规则几乎能拿到满分,同时被 AUROC 评为同等的探针在 PREWARN 下发出的警告却大不相同。在三个模型中的两个里,探针在大多数退化回复的起始点之前就发出警告;探针之下的低秩适配器使其在起始点之前刚刚标记的 token 占比增加了一倍以上,这主要是因为它在起始点之前很久就标记了退化回复;而没有任何未经训练的基线比随机警报更频繁地发出警告。我们在 此 https URL 发布了带有校准阈值的探针
Comments: 已被 NeurIPS 2026 可解释性作为科学研讨会接收。30 页(正文 10 页),6 幅图,16 张表。代码:此 https URL
Subjects: 机器学习(cs.LG);计算与语言(cs.CL)
Cite as: arXiv:2611.16803 [cs.LG]
  (或 arXiv:2611.16803v2 [cs.LG] 查看此版本)
  https://doi.org/10.48550/arXiv.2611.16803

arXiv 通过 DataCite 颁发的 DOI

Submission history

来自:Marco De Negri [查看邮箱]
[v1] 2026 年 11 月 12 日星期四 13:43:19 UTC(454 KB)
[v2] 2026 年 11 月 13 日星期五 07:07:45 UTC(454 KB)

来源:arXiv cs.CL · arxiv.org