快手可灵 AI Kling 4.0 全量上线,单次生成视频最长 30 秒
快手可灵 AI 宣布 Kling 4.0 正式全量上线 klingai.com,单次生成视频最长可达 30 秒,视频可多次续拍延展至 2 分钟。
推荐理由:可灵 Kling 4.0 全量上线并接入 MCP/CLI,读者可据此判断视频生成在时长与工作流接入上的变化。
快手可灵 AI 宣布 Kling 4.0 正式全量上线 klingai.com,单次生成视频最长可达 30 秒,视频可多次续拍延展至 2 分钟。
推荐理由:可灵 Kling 4.0 全量上线并接入 MCP/CLI,读者可据此判断视频生成在时长与工作流接入上的变化。
YILS-LIN 开源桌面端应用「短视频工厂」,可通过提示词文本加视频分镜素材自动批量剪辑产品营销与泛内容短视频。工具集成文案生成(兼容通用 OpenAI 接口格式)、EdgeTTS 语音合成、自动混剪与字幕特效,支持中文、英文等多语言,完全本地化运行,提供 Windows、macOS 和 Linux 版本。
开源项目 LocalMiniDrama 发布 v1.2.8,用纯 JavaScript 搭建本地优先的 AI 短剧工具,素材存于 SQLite 与本地文件、不上云。
fal 在平台上更新 Flux 3 Video 和 Upscaler,新版本支持原生 2K 和 4K 视频生成。更新覆盖 text-to-video、image-to-video 和 video-to-video 三种工作流,5 秒 4K 视频约 2 分钟即可生成。
fal 公布 FLUX 视频系列的试用链接,涵盖 Flux Video Upscale 视频超分,以及 Flux 3 的视频编辑、文生视频、图生视频四项能力。各链接均指向 fal.ai 上的 blackforestlabs 模型页,读者可直接访问试用。
fal 宣布 Kling 4 即将登陆其平台。Kling AI 此前表示 Kling 4.0 已全面可用,并发布了用 Kling 4.0 创作的 KING CARD 内容。
OmniHuman V2 正式上线 fal,可从单张图片和一段音频生成说话视频,并让口型与表情同语音同步。该模型还支持可选提示词来引导表演。
fal 宣布在其平台上线字节跳动的 OmniHuman v2 模型,并提供体验入口。
Viggle AI 预告 Min Hee-jin 与 Bang Si-hyuk 的合作作品 NEON(A2O LITE),由 Viggle Animate 2 制作,即将推出。该预告发布于 X,带 #neon #viggle 标签。
Comfy 发起竞赛,悬赏 1 万美元大奖征集对 Genjutsu、Cinema Studio 等创意应用的开源重建,要求发布仓库并允许任何人运行和 fork。
OpenRouter 宣布 Black Forest Labs 三项新内容上线:FLUX 3 Image Klein 是新的开放权重图像模型,可在单张消费级 GPU 上运行;改进版 FLUX Video Upscale 进入早期访问,可将任意视频转为 4K,价格从 $0.59/秒降至 $0.28/秒;FLUX 3 Video 现已支持根据提示词直接生成 4K 视频。
OpenRouter 上线 Black Forest Labs 的两项能力,upscaler 可将已有视频重渲染为 4K,FLUX 3 Video 支持从提示词或图像生成 4K 视频,分辨率由此前的 1080p 提升。两项能力定价为 $0.41/s,均以 early access 形式在 OpenRouter 开放一周。
ElevenLabs 推出 Instant Soundtracks,可一步为视频添加音乐和音效。上传素材后模型生成原创配乐,并自动在合适时间戳放置音效;还可将原音频作为参考,使新配乐风格与之匹配。该功能已在 ElevenCreative、elevenmusic_io 和 ElevenAPI 开放使用。
来自 @bfl_ai 的 FLUX 3 Upscaler 已在 Higgsfield 上线,速度比之前快 50%、价格便宜 50%,可对任意视频进行超分和锐化。FLUX 3 Video 现支持原生 2K 和 4K 生成,该功能现已可用,Higgsfield 享有 7 天独家访问权。
Higgsfield 上线 FLUX 3 Upscaler,提供 7 天独家体验。用户现可在 Higgsfield 平台试用该超分功能。
World Labs 展示 Atlas 如何以像素级精度控制相机路径。Atlas 测试版访问已开始逐步开放。
可灵(Kling AI)宣布 Kling 4.0 现已全面开放,用户可通过 kling.ai 全新创作界面使用,并新增 MCP 和 CLI 访问方式以提升视频创作工作流灵活性。即将推出的功能包括 4K 和 1080p 分辨率的 10-bit HDR 视频输出,以及面向企业客户和开发者的 API。
fal 已上线 Krea Realtime 模型。该模型来自 @krea_ai,具体参数、定价与可用方式尚未在原文中披露。
PixVerse 推出 Pro DP 音乐视频功能,用户可通过该功能制作音乐视频。原文未披露模型版本、参数规模、价格或可用性等具体信息。
Luma 推出 Shot Coverage 功能,可将一个视频镜头生成更多可剪辑的移动机位角度。该功能面向拍摄后需要补充机位的视频创作场景,帮助创作者在已有素材上获得更多可用的剪辑视角。
Luma 推出 Shot Coverage 功能,用户可在 Luma 中试用。该消息由 Luma 官方 X 账号 @LumaLabsAI 于 10 月 15 日发布。
PixVerse 将于 10 月 21-22 日在纽约 Javits Center 参展 NABShowNY,展位 565,距开展还有一周。官方表示欢迎正在探索用 AI 帮助团队制作更多视频、更快迭代并将想法转化为可投入生产内容的从业者到场交流。10 月 21 日第一天结束后还将举办 happy hour。
PixVerse 推出 PixLight 挑战活动,邀请用户参与。原文未披露活动规则、时间、奖励及 PixLight 的具体功能信息。
OmniCam 是一个自回归模型,可从单张全景图和文本轨迹描述生成相机姿态序列,其几何锚定姿态 token 学习结合了全景点云编码器、混合绝对旋转与相对平移 tokenization 以及独立的几何与语义条件流。
ViTeX-Bench 是一个面向视频场景文本编辑的基准套件,包含 387 个真实 720p 视频(230 个配对编辑用于训练、157 个冻结评测集)和覆盖文本正确性、视觉时序质量、编辑局部性的 13 项指标三轴评测协议。团队同时开源 ViTeX-Edit-14B 参考编辑器,在配对训练集上微调并采用运动对齐的字形-视频条件,CharAcc 达 0.688,为所评测视频原生编辑器中最高均值。
研究者提出 WeLike2Party,一个基于直接上下文视频条件的多人物动画框架,推理时无需提取显式姿态或人体网格,并引入 Reference Asymmetric RoPE Conditioning 与 Identity Binding Supervision 来保持外观细节和身份-动作绑定。
Real2SAM2Real 提出用生成式 3D 缓存为视频扩散模型补充上下文,从单张参考图像估计出拓扑完整、包含未观测表面的物体与人体网格,再以指定相机轨迹和前景运动渲染的法线图引导视频合成。该方法仅用约 2,000 段单目视频训练,无需显式 3D 资产或多轨迹配对录制,支持相机与多实例运动解耦控制,在剧烈视角变化等场景下时空一致性和控制精度优于所评估的 SOTA 方法。
HIMMEL 用稀疏语义锚帧加轻量压缩域三流适配器编码帧间运动,在 Video-MME 上以 3.6 倍更少上下文 token 超过 32 帧密集基线 2.3 个百分点(61.2% 升至 63.5%),单题端到端耗时从 2.75 s 降至 1.03 s。
研究构建了一个基于公开足球精彩集锦的新数据集,用于评估多模态模型区分比赛中重要与非重要子事件的能力。对比多个 SOTA 多模态模型后发现,它们无法可靠捕捉上下文重要性,倾向于依赖单一主导模态,且难以综合多源信息。研究强调需要能动态适应多模态异质性的模块化架构及促进跨模态协同的训练方法。
PRISM 是一个零样本、免训练的程序性视频摘要框架,仅选取不到 5% 的视频帧即可保留超过 84% 的语义内容,较基线最高提升 7.5%。它通过轻量视觉过滤和动态生成的过程标签作为语义锚点,筛选有意义的帧-标签组,减少传入下游视觉语言描述阶段的视觉输入。该工作在 YouCook2、ActivityNet Captions 及外科手术视频数据集上验证了语义对齐与准确率表现。
研究者提出 ST-GRU 单元,以 GRU 风格的两个门(更新门与重置门)替代 ST-LSTM 每个记忆状态的三个门,并将时间记忆状态并入隐藏状态,参数量减少约 5%。
H-DDCM 用隐式随机 Hadamard 字典替代高斯码本,实现免训练生成式图像与视频压缩,投影与重建仅需 O(d log d) 计算和 O(d) 内存。该框架还提出免查表字典序编码方案,并将方法适配到自回归视频流模型,通过周期性将近期重建帧重编码为新的 KV-cache 前缀,在单 GPU 上实现长时长、接近实时的生成式视频压缩。
CineMem 是一个面向自回归多镜头视频生成的注意力对齐细粒度记忆检索框架,结合在线记忆组织与查询自适应检索。它提出在线聚簇 KV cache 作为记忆组织策略,并引入查询级检索机制,在固定检索预算下扩大历史信息访问、提升长期记忆利用率。该框架还配套一套 VLM 辅助的镜头间一致性评估指标,实验验证了其有效性。
LinMorph 将 Video DiT 线性化重构为可学习的 softmax-to-linear 权重变换问题,让每个目标 Gated DeltaNet(GDN)参数从预训练的 query、key、value 和 output 投影中联合抽取,而非复制预设对应权重。
研究者提出 4LC,一种带复合视觉表征与灵活时空访问接口的 4D 潜在缓存,可直接复用静态与动态内容的视觉表征作为生成条件,避免逐次 RGB 渲染与重编码。4LC 将 VAE、DINO、V-JEPA、VGGT 等多个视觉编码器的表征绑定到共享几何与运动上,并支持在任意指定时间与视角读取缓存。
FlashVSR+ 通过混合注意力架构与奖励产出分布匹配蒸馏(Ry-DMD)训练策略,实现最高 2 倍 DiT 加速和 45% 峰值内存降低,可在单张 24GB RTX 4090 上完成空间不分块的 4K 视频超分。Ry-DMD 利用奖励加权教师 rollout 将黑盒奖励纳入分布匹配,无需通过奖励模型反向传播,并可推广至 T2I 生成。代码、模型与训练数据已开源。
World-T3 是一个相机控制的视频世界模型,通过测试时训练把过往观测固化进模型参数作为持久记忆,并提出递归最小二乘规则以在线姿态键控方式增量更新记忆。在长时程重访基准上,其重访 PSNR 从 13.52 提升至 18.31 dB,绝对旋转误差从 3.344 降至 1.075,并在单张 NVIDIA B200 GPU 上以 1280 x 704 分辨率维持 20.6 FPS。
REEL 是一个通用视觉记忆规划器,通过统一工具接口学习检索参考、生成缺失视觉证据并更新持久记忆,配合后端专用适配器可将同一策略用于不同黑盒视频生成器。训练分三阶段:监督微调、单镜头 GRPO 和多镜头 GRPO,后者跨连续镜头传递策略生成的记忆。
AlignCache 是一个闭环缓存框架,通过阶段自适应预算路由、闭环阈值校准和动量增强草稿合成三个组件,将视频扩散模型的缓存调度从静态风险累积转变为反馈驱动的自校正控制器。该方法针对现有自适应缓存依赖启发式差异度量、单一全局阈值且从不校验预算估计的问题,在多个 SOTA 视频生成模型上取得更优的加速-质量权衡,代码已开源。
Gen Through the Lens 是一个相机可控的图像到视频生成框架,通过跨坐标系条件融合,将相机坐标(内参)、世界坐标(空间几何提示)和物体坐标(目标主体的 3D 边界框)三类异构控制信号统一起来,实现对相机运动、对焦和构图的精确控制,同时保持时空一致性。实验表明,该方法在多种相机操作下均能生成可控且视觉一致的结果,在真实感和可编辑性上优于现有方法。