跳到正文
10月3日周六
10月2日周五
  1. arXiv31

    Generative Cinematographer(GenCine):在 3D 中联合编排相机与物体运动

    针对 2D 运动轨迹在相机与物体同时运动时存在歧义的问题,研究者提出 Generative Cinematographer(GenCine),可将单张图像提升为可编辑的 3D 场景脚手架,让创作者联合编排相机路径与前景运动。创作者可指定相机路径,并用局部 3D 运动手柄移动选定的前景区域,多个手柄可分别驱动不同区域。

  2. Hugging Face Daily Papers26

    In-Distribution Forcing:面向长视频生成的测试时方法

    针对自回归视频扩散模型长视频生成中的漂移问题(颜色纹理偏移、运动动态衰减),研究指出仅靠 KV conditioning 并不充分,因为它假设缓存的 KV 条目始终处于分布内,而这一假设在超出训练时长后失效。为此提出 In-Distribution Forcing,在测试时约束 rollout 过程中 KV 条目的构建。

10月1日周四
  1. Hugging Face Daily Papers24

    Ego2Act:评估第一人称视频生成中的目标导向操作

    Ego2Act 是一个评估第一人称视频生成中目标导向操作的基准,针对现有基准多聚焦单一短动作或分步指令、忽视多步物理推理的问题。该基准要求模型在生成视觉画面之外,还需预测执行目标导向动作时环境的动态演变,从而检验其作为具身规划与学习世界模拟器的能力。

  2. Hugging Face Daily Papers34

    ROWBench:视频模型能否渲染出程序所指定的内容?

    PROWBench 基准用于评测可编程世界模型对程序指定世界事件的视觉还原度,包含 170 个程序化构建的片段和 600 段代理视频,覆盖多样场景与交互。该基准记录实体状态等信息,以检验模型对细粒度程序规则与交互的遵循程度,而现有基准多只评估视觉质量、可控性与指令或物理遵循度。

  3. Hugging Face Daily Papers38

    4Director:用刚性 3D 几何控制视频世界模型

    4Director 是一个以显式 4D 场景表示为条件的视频世界模型,每个物体从输入图像重建为规范网格,并按每帧指定的刚性变换运动。相比依赖图像平面线索或缺乏完整几何的 3D 轨迹与 blob 的现有方法,该表示提供了直观的 3D 控制,并能在视角变化中保持一致。

  4. Hugging Face Daily Papers31

    OneStreamer:统一流式视频交互中的感知、记忆与主动响应

    OneStreamer 通过共享的主动生成过程,联合学习与查询无关的证据记录和任务响应,其 Proactive Hierarchical Caption Memory(PHCM)可生成带时间定位的局部细节描述与已完成事件的摘要。流式描述目标用于监督对已观测视频前缀的理解,从而在不牺牲实时感知的前提下形成可复用的事实记忆。

  5. Hugging Face Daily Papers29

    LOCI:面向流式世界模型的空间线性记忆架构

    LOCI 是一种混合空间记忆架构,在 Transformer 的一半区块中保留主注意力的 key-value 缓存,同时结合紧凑的循环记忆,让视频世界模型在相机重访已观测区域时能重现原有内容。该设计针对 key-value 缓存随视频长度增长、循环记忆将历史压缩为固定大小状态而无法直接访问单次观测的问题,同时保留两种表示。

  6. Hugging Face Daily Papers31

    Spatial Memory Intelligence:为世界模型赋予理解驱动的长期记忆

    研究提出 Spatial Memory Intelligence,利用多模态大语言模型(MLLM)的空间推理能力,为世界模型构建理解驱动的长期记忆管理策略,以应对长视频生成中记忆序列变长、结构复杂带来的长程空间上下文管理难题。该工作面向交互式娱乐与具身仿真场景,目标是在用户动作与历史记忆条件下预测未来观测。

9月30日周三
  1. Hugging Face Daily Papers29

    Honeycomb:面向视频世界模型的恒定大小场景记忆表示

    视频世界模型 Honeycomb 提出 HexMemory 低秩表示,用六个空间与时空平面构成固定大小的场景记忆,替代随生成过程不断累积的 RGB 观测或潜特征。其前馈写入器将每个生成的视频块映射为新的平面特征,在空间覆盖或时间范围扩展时对已有特征进行变换,从而保持存储恒定。

  2. Hugging Face Daily Papers26

    视频生成模型综述:后训练与对齐

    一篇综述系统梳理了视频生成模型的后训练与对齐方法。相比图像和文本生成,视频对齐面临误差随时间累积、运动与外观耦合、多目标权衡以及时序监督有限等独特挑战,预训练视频模型虽具备强生成先验,却常难以可靠遵循人类意图、保持时序连贯或满足物理与安全约束。

  3. Product Hunt36

    Pexo:用对话生成精准可控的产品发布视频

    Pexo 让用户通过对话制作产品发布视频:提供产品、网站或素材后,它会规划故事线、为每个任务选择合适 AI 模型,并生成和组装场景,同时处理配音、音乐、字幕、动态图形与剪辑。用户只需留言或圈出想改的地方,Pexo 即可完成修改,由一个智能体从创意直通成品品牌视频。

9月29日周二
  1. Hugging Face Daily Papers39

    HelixWorld:实时交互式音视频世界模型

    HelixWorld 是一个实时交互式音视频世界模型,让视觉场景与基于相机的空间立体声在用户交互下原生同步演化。研究团队构建了带真实立体声与度量相机位姿的高保真空间音视频数据集,并据此预训练了一个双向模型。现有交互式世界模型大多只做视觉渲染与控制,忽略了声音维度。

  2. Hugging Face Daily Papers29

    LVMT:用于长期视频分割的视频掩码 Transformer

    LVMT(Video Mask Transformer)提出用轻量级 GRU 时序传播模块,让模型自适应选择跨时间保留和传播的目标信息,以解决现有在线视频分割方法在长视频和长期遮挡下难以跟踪目标的问题。该方法同时针对长视频训练中的显存占用与梯度消失限制进行改进。

9月28日周一
9月26日周六
  1. Hugging Face Daily Papers34

    KeyRec:面向流式与长视频理解的有界视觉记忆框架

    KeyRec 是一个免训练框架,通过构建有界视觉记忆来解决长视频与流式视频理解中视觉 token 随视频时长累积、长上下文推理成本过高的问题。它在与查询无关的写入阶段保留细粒度的近期观测,以区分近期细节与长程历史,避免现有免训练视觉 token 选择方法丢失连贯事件证据。

9月25日周五
  1. Google DeepMind67

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 基础上为原生实时对话模型加入近实时视觉形象,可同时处理视觉与音频输入并输出带表情和口型同步的音视频。

    推荐理由:官方披露了 Live Avatar 的实时音视频对话、异步工具调用与 97 种语言同步能力,可据此判断企业级数字人交互的落地形态。

9月23日周三
9月22日周二
9月18日周五
9月6日周日
7月27日周一