跳到正文
arXiv cs.AI· Jan Kirin·· 10 小时前AI 评分31

循环语言模型中的操作性原型内省:在答案之前读取正确性

Operational Proto-Introspection in Looped Language Models: Reading Correctness Before the Answer

AI 导读

研究者在 2.6B 参数的循环模型 Ouro-RLTT 上探测隐藏状态,仅读取推理前 48 个 token 即可在合成逻辑任务上达到 0.758 AUROC,而 token 置信度仅 0.515。同一问题的两个答案间,探针有 74% 的概率给正确答案更高分,但该效应在 GSM8K 和第二个 checkpoint 上未获验证。探针信号可改善弃答判断,却无法让模型生成更好的答案。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:当语言模型进行推理时,人们能否判断其答案是否正确?循环模型是一个适合提出此问题的对象:它们对每个 token 多次运行相同的层,每次循环留下一个隐藏状态供探针读取。我对 Ouro-RLTT(一个 2.6B 参数的循环模型)进行探针分析,考察这些状态能揭示其推理将如何结束的哪些信息。我将此类信息称为操作性的原始内省:操作性是因为它由探针能读取的内容来定义,原始是因为这里没有任何证据表明模型本身使用了它。
部分而言,是的。读取推理的前 48 个 token(来自尚未给出答案的回答),对隐藏状态的探针在合成逻辑任务上达到 0.758 的 AUROC,而 token 置信度为 0.515。问题难度是一个竞争性解释:在另外 1,164 个问题上,token 置信度加上问题的简单特征预测效果大致相当。这不仅仅是难度:对于同一问题的两个答案,探针有 74% 的概率给正确答案更高的分数。一个读取相同 token 的微调语言模型表现大致相当。在 GSM8K 和第二个检查点上,这一问题内测试尚未解决。
在四个 Ouro 检查点上,对已完成的候选答案进行排序的探针在第一次循环的第 8 层较弱,在第二次循环上明显更好,到第三次循环时与最后几层一样准确。它读取的方向在各次循环之间基本共享:在最后一次循环上训练的探针读取第一次循环的效果几乎与在那里训练的探针一样好。
该信号有助于决定如何处理已完成的输出。它在弃权方面优于表面特征,并在候选中挑选正确答案的能力优于随机,尽管表面特征挑选的效果也差不多。一旦多个样本完成,一个知道它们一致性的基线使无答案探针无法添加任何可测量的内容。我尝试用它让模型生成更好答案的所有努力均未奏效。
评论: 第 4 版经过大幅重写,增加了固定前缀正确性测试、与可见文本读取器的比较以及同一问题不同答案之间的比较,还有跨循环探针迁移。它修订了对早期最终答案标记测试的解释,修正了排序和剪枝分析,并删除了无支持的偏好声明。附录 I 详细说明了这些更改
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2607.18553 [cs.LG]
  (或 arXiv:2607.18553v4 [cs.LG] 为此版本)
  https://doi.org/10.48550/arXiv.2607.18553

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jan Kirin [查看电子邮件]
[v1] 2026年7月20日星期一 22:40:36 UTC(375 KB)
[v2] 2026年7月25日星期六 23:42:03 UTC(681 KB)
[v3] 2026年7月28日星期二 16:28:19 UTC(864 KB)
[v4] 2026年11月18日星期三 17:33:48 UTC(179 KB)

来源:arXiv cs.AI · arxiv.org