多模态 LLM 实时游戏视频解说:基于停顿感知的解码方法
研究提出两种基于提示词的解码策略实现多模态 LLM 实时游戏视频解说:固定间隔解码与动态间隔解码,后者根据上一句话的预估时长调整下一次预测时机,无需微调即可实现停顿感知生成。在日语和英语赛车、格斗游戏数据集上,动态间隔解码生成的解说在时间与内容上更贴近人类解说。团队同时发布了多语言基准数据集、训练模型与实现代码。
研究提出两种基于提示词的解码策略实现多模态 LLM 实时游戏视频解说:固定间隔解码与动态间隔解码,后者根据上一句话的预估时长调整下一次预测时机,无需微调即可实现停顿感知生成。在日语和英语赛车、格斗游戏数据集上,动态间隔解码生成的解说在时间与内容上更贴近人类解说。团队同时发布了多语言基准数据集、训练模型与实现代码。
这篇综述系统梳理了基于扩散模型的视频编辑技术,涵盖数学基础、图像域关键方法,并按核心技术内在关联对视频编辑方法进行分类,勾勒其演进脉络。文章还探讨了基于点的编辑、姿态引导的人体视频编辑等新应用,并提出 V2VBench 进行综合对比评测。最后总结了当前挑战与未来研究方向。
WorldSonus 是一个面向世界模型的交互式视频转音频框架,可实时合成空间音效,实时因子(RTF)低至 0.41。它采用流式因果自回归扩散架构,并通过以音频为中心的描述生成管线与分块索引提示词调度,支持生成过程中动态操控声音事件。该框架利用立体声与 ambisonic 数据监督实现空间对齐,在开放域视频转音频基准上匹配或超越当前最优的双向模型。
针对视频生成中运动定制的内容泄漏问题,研究者提出 Control-based Motion Customization(CMC)训练框架,用随机最优控制(SOC)引导生成动态趋向目标运动、避免向参考视频坍缩。该方法无需显式奖励,并引入只作用于生成早期阶段的时间步自适应运动代价,训练速度提升 2.5 倍,在缓解内容泄漏的同时保持运动保真度与基座模型的多样性。
SUTURE 提出一种基于 rollout 组的验证器,通过组内分歧控制目标重加权、按位置覆盖率重分配奖励,并可精确分解为标准 IoU 项与协方差修正项。在五个视频时序定位 benchmark 上,SUTURE 在所有报告的 IoU 阈值下均提升定位性能,其训练策略的推理轨迹也减少了视频起始锚定现象。
Deepfake Studio 2026 Ultimate Collection 是面向 Windows 10/11 64 位桌面用户的深度伪造工具,主打 AI 换脸与视频篡改编辑。
作者歸藏演示了用 Grok Bot 在云端虚拟机上自动收集资讯、编写代码并渲染视频,实现每日 AI 早报的全自动生产。该工作流强调全云端执行、无需本地电脑以及可复制性,完整链路从 Prompt 输入到最终视频产出。
作者分享了一个视频生成 Prompt,通过模拟 2000 年代索尼 MiniDV 家用摄像机的画质、光影与物理动态,生成杭州街头散步视频。提示词用轻微手持晃动、自动对焦变化、数字噪点和低饱和度等视觉约束,来消除 AI 视频常见的塑料感与电影级完美感。
作者惊叹某 AI 生成视频逼真到几乎看不出是 AI 制作,认为其制作成本极低,适合用于抖音起号,并承诺后续附上提示词。推文未披露具体模型名称、技术细节或数据。
ScreenCI 可将一句提示词交给编码智能体,自动录制真实应用的旁白演示视频,并生成对应的 E2E 测试文件。它支持自动缩放跟随点击、拖拽等交互,可嵌入图片与 MP4 素材、生成自动更新的文档截图,旁白覆盖 79 种语言,兼容任意智能体且免费试用、无需账号。
Kerf 是一款跨平台桌面视频编辑器,内嵌 MCP server,Claude 或其他 MCP 客户端可通过 87 个工具分析素材并组装剪辑,与 GUI 共用同一个实时项目。
MiniMax Design 上线 Opus 5.5,支持用代码把文字变成视频,覆盖 JavaScript 动画、动态图形、解说视频与视觉叙事、网页与产品演示等场景。该模型不止于语言能力,还能理解视觉内容并持续打磨作品。
一个海外自我提升频道仅靠 7 条视频,将订阅数从 1.2 万提升至 109 万播放。该频道采用无配音、仅英文字幕加动画的极简模板,选题集中在多巴胺、懒惰等热门自我提升领域。作者认为这种模式易于被 AI 视频技术复制,国内快速起号账号正是通过引入海外已验证案例并进行中文本地化复刻。
作者快速试用了新发布的 Vidu Q4 Preview 视频生成模型,认为其表现略逊于 Seedance 2.0,但整体质量尚可满足基本需求。这是一条基于即时体验的微型评测,提供了初步的质量参考。
ArtCraft 推出面向艺术家的开源创作工具,提供图像转 3D 网格、背景移除、3D 与 2D 合成、角色摆姿、图像转场景等功能,全部代码托管于 GitHub,可自由查看和 fork。该工具无需订阅、无聚合中间商,支持浏览器直接运行,无需安装。
HeyGen 开源 HyperFrames,一个把 HTML、CSS、媒体和可定位动画转成确定性 MP4 视频的框架,采用 Apache 2.0 许可,无按次渲染费用。
生数科技发布视频生成旗舰模型 Vidu Q4 的预览版 Vidu Q4 Preview,主打人物演技、镜头语言与特效表现力。新版本最多支持 3 段参考音频和 15 张参考图,支持 2K、4K 输出与 10bit 色深,首发优惠价 0.09 元/秒起,官方称同样预算约 5 倍出片,并从 Day 1 起面向全球创作者开放。
一位创作者用阿里 Wan 3.0 制作了一段 AI 动画,称全部画面由 Wan 3.0 生成因而成本可控,配音则用 IrodoriTTS 补上原声不自然的部分。其体验是手绘风格难以控制、容易滑向全动画质感,动作场景的运镜与人物动态仍以 Seedance 更强。片中角色均以当下 AI 形象为原型,如主角 Claude、搭档 GPT。
作者发布了一套 runbook 和脚本,让 Claude 通过 DaVinci Resolve 21.1 新增的 MCP 连接直接剪辑原始素材,代码以 MIT 协议开源在 Simbastack-hq/resolve-edit-kit。
生数科技发布视频生成旗舰模型 Vidu Q4 的预览版 Vidu Q4 Preview,主打人物演技、镜头语言与特效表现力。新版本最多支持 3 段参考音频和 15 张参考图,支持 2K、4K 输出与 10bit 色深,首发优惠价 0.09 元/秒起,官方称同样预算约 5 倍出片,并从 Day 1 起面向全球创作者开放。
Vidu Q4 Preview 首次进入 Artificial Analysis AA-Video-I2V v1.0 排行榜,位列第 3 名,较 Vidu Q3 Pro 的第 19 名上升 16 位。
前字节跳动实习生田柯宇创办世界模型创业公司,从五源资本、IDG 资本等融资近 3,000 万美元,投后估值 2 亿美元,公司尚无名字和产品。其团队已打造包含 20 万个符号的 AI 视觉语言系统,计划输入 1 亿小时视频,称可将生成 1 秒视频的成本至少降至原来的十分之一,并拟在 2027 年发布完整模型前现场展示技术。
fal 推出 H3 Max Relight,上传已有视频后可在内置 Lighting studio 中逐帧重新打光,由 H3 Max 模型驱动。用户可选颜色、让每盏灯围绕主体旋转并调整强度与柔和度,同时保留原视频的主体、运动、镜头运动和音频,无需重拍即可把平淡日光改为黄金时刻、霓虹或品牌配色。
fal 已上线 Vidu Q4 的图生视频与参考生视频能力,用户现在即可试用。
Vidu Q4 已在 fal 平台上线,支持基于单张首帧的图生视频并带原生音频。参考生视频最多可用 12 张参考图和 3 段语音片段以保持角色与声音一致,可生成 3 到 16 秒、540p 至 4K 的片段。
Suno 发起活动,邀请用户提交梗图,由其为梗图生成一首歌曲。
PixVerse 插件现已开放试用。原文未披露该插件的具体功能、支持平台或版本信息。
PixVerse 插件支持在聊天中直接生成视频,用户可用文本、图片或视频参考进行创作。操作时选择插件、描述场景或添加参考素材,再指定模型、时长、分辨率和宽高比即可生成。
独立评测机构 Artificial Analysis 的文生视频盲测榜单中,影视公司 Utopai Studios 的模型 Utopai X 以 1150 分排名第二,与第一名阿里的 Wan 3.0 仅差 7 分。
AI 短剧以约 1/10 的成本快速抢占平台榜单,相关话题 10 月 7 日登上微博热搜榜第二,热度值 1,501,003。红果热播榜前 20 名中 19 部为 AI 生成,一季度上线微短剧 AI 占比超 95%;真人短剧开机量同比暴跌约 75%,横店摄影棚空置率近 80%。但 AI 剧角色表情僵硬、剧情套路化,超九成制作方仍处于亏损状态。
可灵 Kling 4.0 即将发布,官方将于 10 月 10–13 日在韩国釜山 ACFM 展示一批用该模型创作的真实项目。官方称将探讨生成式 AI 如何理解导演创作意图、保持角色与叙事连贯性,并融入动画、真人影视和剧集的专业制作流程。
可灵AI将于10月10日至13日在韩国釜山展映一系列由Kling 4.0参与制作的真实作品,并宣布Kling 4.0即将发布。活动聚焦生成式AI如何理解导演构思、保持角色与叙事连贯性,以及接入动画、实拍到电影与剧集的制作流程,探讨AI从创作实验进入影视工业专业生产环节。
Hao AI Lab 宣布 FastVideo 支持 Kandinsky 6,可生成文/图生视频并配同步音频,提供 Pro 30B 和 Lite 3B 两种规格。每个规格都有 10 步蒸馏的 pi-Flow 版本,并支持最高 4x 的视频超分。
Hao AI Lab 宣布 FastVideo FastH3 现可在单台消费级设备上运行,支持 NVIDIA RTX GPU、DGX Spark 和 Apple Silicon。
fal 发布 Claude Connector 和 GPT 插件,用户可直接在 Claude 或 ChatGPT Codex 中生成图像和视频,且无需 API Key。官方同步在 YouTube 上线了使用教程。
WorldSonus 是一个交互式视频到音频框架,为世界模型实现实时空间声音合成,应对实时生成、流中声音指令交互控制与空间对齐立体声三大挑战。该框架旨在让生成环境不再无声,并匹配交互式视频流的节奏。
研究发现冻结的 VideoLLM 已线性编码"证据就绪"信号,该信号由带时间戳的证据标注而非模型输出生成。在七个模型的字节级一致评测中,最严格的未就绪采样下 AUROC 达 0.733-0.905,而拟合时钟接近随机水平。
Screen Records 是一款轻量录屏工具,录制后可通过 MCP 配合 Claude Desktop/Code、ChatGPT/Codex、Cursor 等 AI 订阅进行编辑和导出,且消耗 token 极少。它支持录制麦克风、摄像头、系统声音,可添加配音、文字、图片、视频并生成字幕,录制时还能使用提词器和暂停功能。目前已在 Mac 上线。
Azurade 是一个托管式图像与视频生成服务,将 Veo3.1、Seedance 2.5、Wan 3.0、Nano Banana、GPT Image2.5 等 35+ 模型整合在一个永不过期、完全面向智能体的余额体系下。积分预付且永不过期,生成失败自动退款,可购买套餐而无需订阅。
PixVerse 插件支持为任何主题创建讲解视频:用户只需告诉 AI 智能体想讲解的内容,它便会整理关键要点,并用 PixVerse 将其转化为清晰的视觉故事。