跳到正文
arXiv cs.CL· Dan Ben-Ami, Kobi Cohen, Chaim Baskin·· 9 天前AI 评分24

冻结的 VideoLLM 是否已编码证据就绪信号?Readiness Gating 答案时机策略研究

Have I Seen Enough? Frozen Video-Language Models Encode Evidence Readiness

AI 导读

研究发现冻结的 VideoLLM 已线性编码"证据就绪"信号,在 7 个模型上 AUROC 达 0.733-0.905,且该信号以问题为条件——仅改变问题即可在 66.1% 的配对中反转读数。基于该读数提出的 Readiness Gating 答案时机策略,在相同视频时长下最高提升准确率 +9.75 pp,计算开销可忽略。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:流式视频语言模型不仅要决定回答什么,还要决定当前问题所需的证据是否已经到达。现有系统将这一决策学习为一个单独的触发器;我们则探究一个未经修改的模型是否已经计算了它。我们表明,冻结的 VideoLLM 携带一个线性可读的证据就绪信号,该信号由带时间戳的证据而非模型输出标注。在一个共享的字节级相同评估中,它在全部七个模型上都能被解码(在最严格的未就绪采样下 AUROC 为 0.733-0.905,而拟合的时钟接近随机水平),并且一个未使用某基准家族任何视频片段拟合的探针仍能读取该家族。它是以问题为条件的:在字节级相同的窗口上,仅改变问题就会在 66.1% 的配对中反转读出结果,而每个问题盲对照按构造都处于随机水平。模型可以回答错误却仍编码就绪性:在错误回答中 AUROC 仍为 0.722。在延迟匹配的答案选择上,就绪性也优于不确定性估计器及其监督组合,并且比置信度更贴近独立的人类判断。已发布的流式触发器同样是线性读出,然而在自身基础模型的激活上读取一个训练好的触发器,其结果与就绪性近似正交,且解码就绪性的准确率远低于探针。我们将该读出转化为就绪门控(Readiness Gating),一种答案时机策略,在匹配视频时长下将准确率最多提升 +9.75 个百分点,且计算开销可忽略不计。其增益大小随任务所提供的准确率提升空间而变化:在 26 种配置中,增益与该提升空间同步变化,而在相同像素上改变该空间的干预也会带动增益随之改变。
主题: 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL);机器学习(cs.LG)
ACM 分类: I.2.10;I.2.6
引用为: arXiv:2610.08560 [cs.CV]
  (或本版本使用 arXiv:2610.08560v2 [cs.CV])
  https://doi.org/10.48550/arXiv.2610.08560

arXiv 颁发的 DOI,经由 DataCite

提交历史

来自:Dan Ben Ami [查看电子邮件]
[v1] 2026年10月6日星期二 15:43:04 UTC(1,336 KB)
[v2] 2026年10月8日星期四 06:30:57 UTC(1,342 KB)

来源:arXiv cs.CL · arxiv.org