PixVerse CLI 营销功能上线
PixVerse CLI 上线营销功能,用户可试用。原文未披露具体功能细节、版本号或可用范围。
PixVerse CLI 上线营销功能,用户可试用。原文未披露具体功能细节、版本号或可用范围。
PixVerse 推出新插件,可将任意角色变成会说话的主持人。用户添加插件并选择角色后,角色会在镜头前自然地说话、反应和做手势,同时 PixVerse 自动生成片段。
LoGo 通过融合全局奖励与空间局部奖励,为相机控制视频模型提供细粒度信用分配,以改善长时生成中的 3D 不一致问题。现有后训练方法只对整段生成给单一标量奖励,难以在长时程上纠正物体失去持久性、场景结构漂移等失败模式。
Weave Forcing 是一个免训练框架,用于交互式长视频生成中的组合式记忆复用,可让新镜头组合来自不同历史镜头的角色与背景。它针对整体提示词检索会忽略各组件独立参考需求、直接拼接全部历史记忆又会引入无关视觉内容的问题而提出。
harry0703 在 GitHub 发布 MoneyPrinterTurbo,利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。仓库页面仅提供这一句功能说明,未给出模型、参数或使用细节。
针对 2D 运动轨迹在相机与物体同时运动时存在歧义的问题,研究者提出 Generative Cinematographer(GenCine),可将单张图像提升为可编辑的 3D 场景脚手架,让创作者联合编排相机路径与前景运动。创作者可指定相机路径,并用局部 3D 运动手柄移动选定的前景区域,多个手柄可分别驱动不同区域。
针对现有有害视频检测系统将安全检测简化为二分类、且依赖静态训练目标的问题,研究者提出通过自适应 Tversky 策略优化实现可控多标签视频安全检测。该方法面向 Vision-Language Models(VLMs),支持按需调节精确率与召回率的权衡,以适配不同场景下所需的工作点。
针对自回归视频扩散模型长视频生成中的漂移问题(颜色纹理偏移、运动动态衰减),研究指出仅靠 KV conditioning 并不充分,因为它假设缓存的 KV 条目始终处于分布内,而这一假设在超出训练时长后失效。为此提出 In-Distribution Forcing,在测试时约束 rollout 过程中 KV 条目的构建。
ProAR 框架将自回归视频生成转变为目标导向的推理过程,以解决其依赖下一块预测、局限于短视反应式范式的问题。该框架引入两项关键设计,让模型通过有效的中间状态达成目标结果,而非只追求局部视觉合理性。
知名 AI 动画艺术家 852話 Hakoniwa 用 Comfy Agent 完成了首部动画短片《YUI》,主角名字取自 ComfyUI 最后三个字母。全片成本约 20 万日元(不含人力),一人专注工作 3 天,其中约 2/3 时间用于生成、1/3 用于剪辑,成片时长 4:20。
Ego2Act 是一个评估第一人称视频生成中目标导向操作的基准,针对现有基准多聚焦单一短动作或分步指令、忽视多步物理推理的问题。该基准要求模型在生成视觉画面之外,还需预测执行目标导向动作时环境的动态演变,从而检验其作为具身规划与学习世界模拟器的能力。
PROWBench 基准用于评测可编程世界模型对程序指定世界事件的视觉还原度,包含 170 个程序化构建的片段和 600 段代理视频,覆盖多样场景与交互。该基准记录实体状态等信息,以检验模型对细粒度程序规则与交互的遵循程度,而现有基准多只评估视觉质量、可控性与指令或物理遵循度。
4Director 是一个以显式 4D 场景表示为条件的视频世界模型,每个物体从输入图像重建为规范网格,并按每帧指定的刚性变换运动。相比依赖图像平面线索或缺乏完整几何的 3D 轨迹与 blob 的现有方法,该表示提供了直观的 3D 控制,并能在视角变化中保持一致。
针对视频世界模型以 actor 为中心、物体离开视野后状态与动态难以保持的问题,研究者提出 World Observer,将"观察"与"行动"解耦,在生成以智能体为中心视角的 actor 的同时,联合生成一个或多个全景 observer 来持续观察选定世界区域。
视频生成模型虽能产出接近电影级画质的视频,但现有基准多评估视觉质量、美感与物理合理性,对场景中文本渲染是否正确关注不足。为此研究者提出 VTR-Bench,一个系统性评估视频生成中视觉文本渲染的基准,用于衡量生成视频内文字是否被正确呈现。
OneStreamer 通过共享的主动生成过程,联合学习与查询无关的证据记录和任务响应,其 Proactive Hierarchical Caption Memory(PHCM)可生成带时间定位的局部细节描述与已完成事件的摘要。流式描述目标用于监督对已观测视频前缀的理解,从而在不牺牲实时感知的前提下形成可复用的事实记忆。
研究针对 VideoLLMs 时间推理薄弱的问题,提出用逐层时间散度向量 τ_l 追踪反转帧序带来的表征差异,发现其幅度随层数呈现一致规律。基于此,作者在推理阶段强化时间表征,以缓解反转帧序后预测不变的现象。
LOCI 是一种混合空间记忆架构,在 Transformer 的一半区块中保留主注意力的 key-value 缓存,同时结合紧凑的循环记忆,让视频世界模型在相机重访已观测区域时能重现原有内容。该设计针对 key-value 缓存随视频长度增长、循环记忆将历史压缩为固定大小状态而无法直接访问单次观测的问题,同时保留两种表示。
研究提出 Spatial Memory Intelligence,利用多模态大语言模型(MLLM)的空间推理能力,为世界模型构建理解驱动的长期记忆管理策略,以应对长视频生成中记忆序列变长、结构复杂带来的长程空间上下文管理难题。该工作面向交互式娱乐与具身仿真场景,目标是在用户动作与历史记忆条件下预测未来观测。
SemanTok 提出一种可预测语义 Token 方案,用于高效自回归视频生成。现有可变长度、由粗到细的 tokenizer 只在解码器早期隐状态上施加 REPA 损失,而该目标解码器可部分从带噪输入中满足,SemanTok 针对这一问题改进了语义对齐方式。
视频世界模型 Honeycomb 提出 HexMemory 低秩表示,用六个空间与时空平面构成固定大小的场景记忆,替代随生成过程不断累积的 RGB 观测或潜特征。其前馈写入器将每个生成的视频块映射为新的平面特征,在空间覆盖或时间范围扩展时对已有特征进行变换,从而保持存储恒定。
一篇综述系统梳理了视频生成模型的后训练与对齐方法。相比图像和文本生成,视频对齐面临误差随时间累积、运动与外观耦合、多目标权衡以及时序监督有限等独特挑战,预训练视频模型虽具备强生成先验,却常难以可靠遵循人类意图、保持时序连贯或满足物理与安全约束。
研究团队构建了 WT++,一个 95 小时的城市步行游览视频数据集,用于在严格滑动窗口批次、无全局打乱与多轮重放的连续视频流上做自监督预训练。结合完整评测套件,他们发现对比式等方法在流式设定下的表现值得关注。
Pexo 让用户通过对话制作产品发布视频:提供产品、网站或素材后,它会规划故事线、为每个任务选择合适 AI 模型,并生成和组装场景,同时处理配音、音乐、字幕、动态图形与剪辑。用户只需留言或圈出想改的地方,Pexo 即可完成修改,由一个智能体从创意直通成品品牌视频。
HelixWorld 是一个实时交互式音视频世界模型,让视觉场景与基于相机的空间立体声在用户交互下原生同步演化。研究团队构建了带真实立体声与度量相机位姿的高保真空间音视频数据集,并据此预训练了一个双向模型。现有交互式世界模型大多只做视觉渲染与控制,忽略了声音维度。
LVMT(Video Mask Transformer)提出用轻量级 GRU 时序传播模块,让模型自适应选择跨时间保留和传播的目标信息,以解决现有在线视频分割方法在长视频和长期遮挡下难以跟踪目标的问题。该方法同时针对长视频训练中的显存占用与梯度消失限制进行改进。
针对自回归视频扩散在长时程 rollout 中误差累积的问题,研究者提出 Rollout-Marginal Distillation。现有视频级 DMD 将整段 rollout 联合打分,导致某个 chunk 的修正可能为维持时序一致性而迁就上下文中的伪影;新方法改为提供更清晰的视觉质量信号。
一篇综述将视频-音频联合生成、跨模态生成与联合编辑统一形式化为同一音视频对分布上的三类问题,并沿五个设计维度对现有方法进行分类比较。该综述围绕"输出如何在时间与语义上保持跨模态一致"这一核心问题组织,作者称这是首个此类概览。
QuantWM 是一种面向视频世界模型的 2-Bit KV Cache 量化方法,针对现有 2-bit 量化在 VBench 上近乎无损、用于视频世界模型却仍出现严重时间闪烁与画质退化的问题。研究发现 Key 量化的重建误差小于 Value,却带来更大的输出偏差。
KeyRec 是一个免训练框架,通过构建有界视觉记忆来解决长视频与流式视频理解中视觉 token 随视频时长累积、长上下文推理成本过高的问题。它在与查询无关的写入阶段保留细粒度的近期观测,以区分近期细节与长程历史,避免现有免训练视觉 token 选择方法丢失连贯事件证据。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 基础上为原生实时对话模型加入近实时视觉形象,可同时处理视觉与音频输入并输出带表情和口型同步的音视频。
推荐理由:官方披露了 Live Avatar 的实时音视频对话、异步工具调用与 97 种语言同步能力,可据此判断企业级数字人交互的落地形态。
MiniMax H3 视频 VAE 编码最高提速约 2.2 倍、解码提速约 1.4-2.7 倍,1344x768、129 帧的编解码往返从 24.3 秒降至 12.7 秒。
Clueso MCP 让用户通过 Claude、ChatGPT 或任意 AI 智能体以聊天方式制作视频。只需提供想法、演示文稿、参考视频或录屏,它就能完成分镜、场景、配音、音乐和剪辑等全流程制作,并保持品牌风格。所有内容均可手动或通过聊天继续编辑。
vLLM 宣布支持 NVIDIA GPU 内置的硬件视频解码,通过集成 PyNvVideoCodec(NVDEC 的 Python 接口)把视频解码从 CPU 转移到 GPU,解决此前 CPU 解码瓶颈。
calesthio 在 GitHub 发布 OpenMontage,称其为开源智能体视频制作系统,包含 12 条制作流水线、100 多个工具和 700 多个智能体技能与制作知识文件。该项目定位是把 AI 编码助手变成完整的视频制作工作室。
Black Forest Labs 发布多模态基础模型 FLUX 3,在单一架构中联合学习图像、视频和音频,可单次生成最长 20 秒带音频视频。