跳到正文
arXiv cs.CL· Dongwu Qian·· 10 小时前AI 评分34

视频 LLM 计数失败并非缺失客体永久性:诊断并修复读出环节故障

Counting Events, Not Seeing Them: Diagnosing and Repairing the Readout Failure in Video LLMs

AI 导读

研究发现视频 LLM 数不清物体穿越屏幕次数并非缺失客体永久性,而是计数信号存在却未被读出:线性探针解码逐窗口存在准确率达 93%,全局计数解码却坍缩为时长混淆。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视频 LLM 在统计物体穿过屏幕的次数时会出现明显失败,这一失败被归因于缺乏客体永久性。借助带有经验证标签、以构造为基础的合成测试平台,我们表明这一归因并不完整:计数信号存在但未被读取——线性探针能以 93% 的准确率解码每个窗口内的存在性,而全局计数解码则退化为受时长混淆影响。同期工作报告了重复计数中同样的表征—输出分离现象;我们表明,在离开—重现事件计数中这一问题是可以修复的:两种面向读出环节的修复手段(片段定位监督和离散事件符号旁路通道)将同物体计数从 46.7% 提升到 65.0%(oracle 为 66.7%),该基准的随机水平为 33%,覆盖 7B–30B 规模的系统。迁移到独立工厂场景没有代价,而一次测量审计暴露出五项曾掩盖该边界的数据完整性问题。一项真实视频审计(REALCOUNT,n=18,盲审)表明该边界依然存在——随机水平 33.3% 下最佳为 55.6%——且符号迁移在零样本下失败。一个 1 轮域内适配基准结果为负(六种手段在 28–50%),但 3 轮训练使符号通道发生逆转:在 oracle 时间线下,读取器在序列不相交集上达到 94.4%(在全集上严格标准下达到 100%),而部署的 2 轮训练头在三个随机种子下均达到 61.1%(42–44),并不优于打乱符号的对照组(种子 42 为 61.1%,种子 43 为 66.7%),且仅有一个片段高于未适配的读取器(55.6%)。残余差距来自检测器证据,而非读取器容量:同一读取器在 GT 时间线上达到 72.2–88.9%。该失败在拥有信息量充足的时间线时是可以修复的,但部署的头部仍是瓶颈;冻结特征边界探针表现较弱(AUC 0.62,置换为 0.51)且不可迁移(片段内 0.77,跨窗口 0.62)。
评论: 13 页,4 幅图,8 张表。预印本 v2(2026-11-10)。修正提示词后重新训练;表 5–8 已更新;附录 A 第 5 项已关闭。欢迎评论
主题: 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2611.09949 [cs.CV]
  (或 arXiv:2611.09949v2 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.09949

由 DataCite 发放的 arXiv DOI

提交历史

来自:Dongwu Qian [查看邮箱]
[v1] 2026 年 10 月 21 日星期三 15:29:00 UTC(588 KB)
[v2] 2026 年 11 月 10 日星期二 05:21:12 UTC(590 KB)

来源:arXiv cs.CL · arxiv.org