跳到正文
10月16日周五
  1. arXiv cs.AI30

    Moment-Video:诊断视频 MLLM 对瞬时视觉事件的时间保真度

    研究者推出 Moment-Video 基准,用于评估视频 MLLM 对瞬时视觉事件的时间保真度,包含 1,000 个人工核验的视频问答对,覆盖 7 个领域、25 个子类及四类任务。在 34 个专有与开源 MLLM 的评测中,表现最佳的 Seed-2.0-Pro 总体准确率仅 39.6%,多数开源模型低于 25%。诊断显示,即便采样帧覆盖全部标注事件区间,模型仍存在大量错误,且视频越长性能越差。

  2. arXiv cs.AI22

    视频理解中的查询引导定位:QDETRv、TOViT 与 MATR

    该论文研究查询引导的视频定位三类任务:对象级、关系级与时刻级。对象级提出 QDETRv(Detection Transformer 的查询引导扩展,用于视频中未见对象的一次性定位)与 TOViT(少样本视频对象检测);关系级引入视频少样本指代关系;时刻级提出 MATR,用双阶段 Dynamic Time Warping 做视频到视频时刻检索,并可扩展至文本到视频检索。

  3. arXiv cs.AI27

    用时序逻辑规范引导文本到视频生成:TSG 框架提升时序约束满足度

    研究者提出 Temporal Specification Guidance(TSG),一种免训练的推理时框架,将时序逻辑规范转化为可执行目标来引导视频生成采样。该框架用可微定量语义对视觉概念证据轨迹打分,并以梯度构建规范引导的去噪方向,增强 CFG。在覆盖 11 类时序约束的 220 条提示词基准上,该方法在五个模型上将规范满足准确率较 CFG 提升 9.5-20 个百分点,且内存开销极小。

10月15日周四
  1. arXiv cs.AI26

    ViTeX-Bench:高保真视频场景文本编辑基准发布

    ViTeX-Bench 是一个面向视频场景文本编辑的基准套件,包含 387 个真实 720p 视频(230 个配对编辑用于训练、157 个冻结评测集)和覆盖文本正确性、视觉时序质量、编辑局部性的 13 项指标三轴评测协议。团队同时开源 ViTeX-Edit-14B 参考编辑器,在配对训练集上微调并采用运动对齐的字形-视频条件,CharAcc 达 0.688,为所评测视频原生编辑器中最高均值。

  2. arXiv cs.AI30

    Real2SAM2Real:用生成式 3D 缓存为视频扩散模型提供互补上下文

    Real2SAM2Real 提出用生成式 3D 缓存为视频扩散模型补充上下文,从单张参考图像估计出拓扑完整、包含未观测表面的物体与人体网格,再以指定相机轨迹和前景运动渲染的法线图引导视频合成。该方法仅用约 2,000 段单目视频训练,无需显式 3D 资产或多轨迹配对录制,支持相机与多实例运动解耦控制,在剧烈视角变化等场景下时空一致性和控制精度优于所评估的 SOTA 方法。

  3. arXiv cs.AI25

    多模态基准何在?基础模型识别视频精彩片段的能力研究

    研究构建了一个基于公开足球精彩集锦的新数据集,用于评估多模态模型区分比赛中重要与非重要子事件的能力。对比多个 SOTA 多模态模型后发现,它们无法可靠捕捉上下文重要性,倾向于依赖单一主导模态,且难以综合多源信息。研究强调需要能动态适应多模态异质性的模块化架构及促进跨模态协同的训练方法。

  4. arXiv cs.AI22

    PRISM:标签引导的程序性与教学视频高效摘要框架

    PRISM 是一个零样本、免训练的程序性视频摘要框架,仅选取不到 5% 的视频帧即可保留超过 84% 的语义内容,较基线最高提升 7.5%。它通过轻量视觉过滤和动态生成的过程标签作为语义锚点,筛选有意义的帧-标签组,减少传入下游视觉语言描述阶段的视觉输入。该工作在 YouCook2、ActivityNet Captions 及外科手术视频数据集上验证了语义对齐与准确率表现。

  5. arXiv cs.AI27

    H-DDCM:用 Hadamard 码本实现快速生成式图像与视频压缩

    H-DDCM 用隐式随机 Hadamard 字典替代高斯码本,实现免训练生成式图像与视频压缩,投影与重建仅需 O(d log d) 计算和 O(d) 内存。该框架还提出免查表字典序编码方案,并将方法适配到自回归视频流模型,通过周期性将近期重建帧重编码为新的 KV-cache 前缀,在单 GPU 上实现长时长、接近实时的生成式视频压缩。

  6. arXiv cs.AI22

    CineMem:面向多镜头长视频生成的注意力对齐细粒度记忆检索

    CineMem 是一个面向自回归多镜头视频生成的注意力对齐细粒度记忆检索框架,结合在线记忆组织与查询自适应检索。它提出在线聚簇 KV cache 作为记忆组织策略,并引入查询级检索机制,在固定检索预算下扩大历史信息访问、提升长期记忆利用率。该框架还配套一套 VLM 辅助的镜头间一致性评估指标,实验验证了其有效性。

  7. arXiv cs.AI26

    4LC:面向动态世界建模高效条件生成的 4D 潜在缓存

    研究者提出 4LC,一种带复合视觉表征与灵活时空访问接口的 4D 潜在缓存,可直接复用静态与动态内容的视觉表征作为生成条件,避免逐次 RGB 渲染与重编码。4LC 将 VAE、DINO、V-JEPA、VGGT 等多个视觉编码器的表征绑定到共享几何与运动上,并支持在任意指定时间与视角读取缓存。

  8. arXiv cs.AI26

    FlashVSR+:通过混合注意力与奖励产出分布匹配实现高效视频超分

    FlashVSR+ 通过混合注意力架构与奖励产出分布匹配蒸馏(Ry-DMD)训练策略,实现最高 2 倍 DiT 加速和 45% 峰值内存降低,可在单张 24GB RTX 4090 上完成空间不分块的 4K 视频超分。Ry-DMD 利用奖励加权教师 rollout 将黑盒奖励纳入分布匹配,无需通过奖励模型反向传播,并可推广至 T2I 生成。代码、模型与训练数据已开源。

  9. arXiv cs.AI37

    World-T3:用测试时训练作为实时视频世界模型的持久记忆

    World-T3 是一个相机控制的视频世界模型,通过测试时训练把过往观测固化进模型参数作为持久记忆,并提出递归最小二乘规则以在线姿态键控方式增量更新记忆。在长时程重访基准上,其重访 PSNR 从 13.52 提升至 18.31 dB,绝对旋转误差从 3.344 降至 1.075,并在单张 NVIDIA B200 GPU 上以 1280 x 704 分辨率维持 20.6 FPS。

  10. arXiv cs.AI24

    AlignCache:面向视频扩散模型加速的校准与纠错缓存框架

    AlignCache 是一个闭环缓存框架,通过阶段自适应预算路由、闭环阈值校准和动量增强草稿合成三个组件,将视频扩散模型的缓存调度从静态风险累积转变为反馈驱动的自校正控制器。该方法针对现有自适应缓存依赖启发式差异度量、单一全局阈值且从不校验预算估计的问题,在多个 SOTA 视频生成模型上取得更优的加速-质量权衡,代码已开源。

  11. arXiv cs.AI31

    Gen Through the Lens:跨坐标系条件融合的相机可控视频生成

    Gen Through the Lens 是一个相机可控的图像到视频生成框架,通过跨坐标系条件融合,将相机坐标(内参)、世界坐标(空间几何提示)和物体坐标(目标主体的 3D 边界框)三类异构控制信号统一起来,实现对相机运动、对焦和构图的精确控制,同时保持时空一致性。实验表明,该方法在多种相机操作下均能生成可控且视觉一致的结果,在真实感和可编辑性上优于现有方法。

  12. arXiv cs.AI26

    Prospective Forcing:面向自回归长视频扩散的前瞻性预测训练框架

    Prospective Forcing 是一种多头预测框架,通过在自回归视频生成器的共享历史表示上附加轻量级、偏移特定的预测头,让模型在训练时同时预测不同未来时间偏移的视频块,从而提升长视频生成的时间一致性。推理阶段,该方法利用被接受的未来块预测跳过完整窗口的主干执行以加速采样,并通过可学习嵌入生成下一块的多个候选,由学习到的验证器选择或回退到标准自回归生成。

  13. arXiv cs.AI27

    GeoFix:用单一几何奖励修复 4D 生成一致性

    GeoFix 是一个统一框架,仅用单一几何奖励即可提升 4D 生成的几何一致性与视觉质量,适用于训练和推理阶段的奖励对齐。该奖励通过校准相机视场重叠带来的偏差,衡量静态场景区域的跨视角深度一致性,避免约束外观或惩罚合理物体运动。结果显示,WorldScore 3D 一致性提升 39%,VBench Quality Score 提升 4%。

  14. arXiv cs.AI26

    LabInstruct:面向实验室流程的实景教学视频生成基准

    研究团队推出 LabInstruct,一个面向真实实验室的实景教学视频生成基准,涵盖 5 个学科、204 项任务,配有真实参考执行及物体、动作、接触和状态转换的结构化标注。对 8 个前沿图生视频模型的评测显示,视觉上逼真的生成结果往往在流程上并不正确,暴露出视觉真实感与实验教学可靠性之间的显著差距。

  15. arXiv cs.AI25

    Reels-RSI:面向代码渲染解说视频的程序级自我改进

    Reels-RSI 是一个开源解说视频导演工具,将解说视频视为由脚本、分镜和逐帧动画代码组成的程序,自我改进发生在程序层面而非权重或提示词中。它把静态检查能捕获的经验编译为带必失败与必通过示例的规则,使记忆可单元测试,且新规则会回溯检查此前所有作品。在 111 个视频的实验中,该规则在旧帧中发现四个潜在缺陷,且规则对强导演是审计、对弱导演是防护。

10月12日周一
  1. arXiv cs.AI31

    视频扩散模型内部是否编码物理结构?arXiv 研究揭示物理合理性可从扩散 Transformer 状态线性解码

    研究通过反向积分学习到的速度场,将干净视频潜变量近似还原为噪声,从而探测视频扩散模型的中间状态与注意力图。结果显示,物理合理性可从扩散 Transformer 状态中线性解码,在 IntPhys 和 InfLevel 上平均准确率约 81.27%,优于 V-JEPA 和 VideoMAE 等表征学习基线。

10月11日周日
10月9日周五
  1. arXiv cs.CL24

    冻结的 VideoLLM 是否已编码证据就绪信号?Readiness Gating 答案时机策略研究

    研究发现冻结的 VideoLLM 已线性编码"证据就绪"信号,在 7 个模型上 AUROC 达 0.733-0.905,且该信号以问题为条件——仅改变问题即可在 66.1% 的配对中反转读数。基于该读数提出的 Readiness Gating 答案时机策略,在相同视频时长下最高提升准确率 +9.75 pp,计算开销可忽略。

  2. arXiv cs.AI23

    mAVE:面向联合音视频生成模型的水印框架

    研究者提出免训练水印框架 mAVE,通过在原生联合音视频扩散 Transformer 中绑定会话,防止攻击者拼接不同会话的水印模态冒充厂商原始联合输出。mAVE 将公开记录检索与秘密会话认证分离,用随机载荷经密码学摘要把音频比特绑定到会话密钥的视频网格,无需修改生成器权重或训练辅助水印网络。

  3. arXiv cs.AI23

    FreshMem:面向流式视频理解的脑启发频率-空间混合记忆网络

    FreshMem 是一种受大脑对数感知与记忆巩固机制启发的频率-空间混合记忆网络,用于将 MLLM 从离线扩展到在线流式视频理解。它通过多尺度频率记忆(MFM)和空间缩略图记忆(STM)两个模块兼顾短期保真与长期连贯,在 StreamingBench、OV-Bench、OVO-Bench 上分别将 Qwen2-VL 基线提升 5.20%、4.52% 和 2.34%。

  4. arXiv cs.AI27

    VINCIE-NExT:通过上下文建模从图像解锁视频编辑

    VINCIE-NExT 提出统一框架,通过上下文视觉演示将图像编辑能力迁移至视频,缓解大规模配对视频编辑数据稀缺问题。该方法将视频编辑分解为 Video→Image→Image→Video 的可组合子任务链,并引入新位置编码在共享空间坐标系中对齐图像演示与视频帧,实现外观编辑的像素级传播。

  5. arXiv cs.AI36

    无需双向教师模型:条件残差预测(CRP)提升自回归视频扩散模型

    研究者提出条件残差预测(CRP),让因果视频扩散模型先不带条件预测目标、条件仅用于叠加残差,从而减少对历史帧的依赖。在受控实验中,CRP 几乎抹平了与同规模双向模型之间 6.14 分的差距。基于该方法训练的 2B 参数因果视频模型 Optica 可自回归生成 5 秒 480p 视频,仅用约 15M 训练视频即在 VBench 上达到 82.78 分。