跳到正文
热点事件持续更新

循环语言模型隐藏状态可提前读出答案正确性

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

研究者 Jan Kirin 发布论文修订版,在 2.6B 参数的循环语言模型 Ouro-RLTT 上探测隐藏状态,发现仅读取推理前 48 个 token 即可在合成逻辑任务上判断答案正确性,AUROC 达 0.758,而 token 置信度仅 0.515。修订版新增固定前缀正确性测试、与可见文本读取器的对比、同一问题两个答案间的比较及跨循环探针迁移实验。 在同一问题的两个答案之间,探针有 74% 的概率给正确答案更高分,但该效应在 GSM8K 和第二个 checkpoint 上未获验证。探针信号可改善弃答判断,却无法让模型生成更好的答案。

AI 根据报道生成 · 53 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    循环语言模型中的操作性原型内省:在答案之前读取正确性

    研究者在 2.6B 参数的循环模型 Ouro-RLTT 上探测隐藏状态,仅读取推理前 48 个 token 即可在合成逻辑任务上达到 0.758 AUROC,而 token 置信度仅 0.515。同一问题的两个答案间,探针有 74% 的概率给正确答案更高分,但该效应在 GSM8K 和第二个 checkpoint 上未获验证。探针信号可改善弃答判断,却无法让模型生成更好的答案。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。