为故障付费而非为流程付费:无标注的流内多智能体工作流优化
针对 LLM 构建多智能体工作流时任务粒度、智能体分配与新专家创建难以预先确定的问题,研究者提出"为故障付费而非为流程付费"的无标注流内优化方法。该方法无需参考答案、评分结果或训练评估器即可定位工作流故障,从而降低工作流改进成本。
针对 LLM 构建多智能体工作流时任务粒度、智能体分配与新专家创建难以预先确定的问题,研究者提出"为故障付费而非为流程付费"的无标注流内优化方法。该方法无需参考答案、评分结果或训练评估器即可定位工作流故障,从而降低工作流改进成本。
Omni-Embed-Mini 是一个 0.9B 参数模型,可将文本、语音、音频、图像、视频和富视觉文档映射到同一共享余弦空间,且不更新任何文本侧参数。其做法是让每个媒体样本配一段稠密级联描述,以冻结骨干网络对该描述的嵌入作为教师目标,从而避免扩展新模态时文本检索质量下降。
视频生成模型虽能产出接近电影级画质的视频,但现有基准多评估视觉质量、美感与物理合理性,对场景中文本渲染是否正确关注不足。为此研究者提出 VTR-Bench,一个系统性评估视频生成中视觉文本渲染的基准,用于衡量生成视频内文字是否被正确呈现。
OneStreamer 通过共享的主动生成过程,联合学习与查询无关的证据记录和任务响应,其 Proactive Hierarchical Caption Memory(PHCM)可生成带时间定位的局部细节描述与已完成事件的摘要。流式描述目标用于监督对已观测视频前缀的理解,从而在不牺牲实时感知的前提下形成可复用的事实记忆。
研究提出 Spatial Memory Intelligence,利用多模态大语言模型(MLLM)的空间推理能力,为世界模型构建理解驱动的长期记忆管理策略,以应对长视频生成中记忆序列变长、结构复杂带来的长程空间上下文管理难题。该工作面向交互式娱乐与具身仿真场景,目标是在用户动作与历史记忆条件下预测未来观测。
ProWAM 是一种渐进式世界动作模型,通过联合预测动作与有序的稀疏视觉帧序列,解决现有世界动作模型(WAMs)在长时程预测中生成密集视频效率低下的问题。现有部分 WAMs 仅预测单张未来帧,忽略了如何逐步逼近目标,而 ProWAM 以稀疏视觉规划弥补了这一缺陷。
PhysVista 是一个面向 VLM 物理智能的评测基准,通过感知-推理-评估闭环考察模型能否判断真实世界动态的物理一致性。现有基准评测碎片化,只关注孤立认知阶段,忽略了感知、推理与物理判断之间的协同,难以诊断 VLM 是否能可靠评估生成模型的物理真实性。
针对配音质检中无参考音频、仅凭静音视频与文本判断口型是否匹配的需求,研究者提出多模态唇形同步评判模型 Align Then Reason(ATR)。该模型先在帧级唇部动作与文本间建立单调对齐,再进行推理判断,支持多语言。现有视觉语音识别器与视频语言模型即使经过微调,仍对时间错位不敏感,难以胜任该任务。
Multimodal Flow 是一个完全连续的语言与视觉生成模型,在嵌入空间中以统一的连续架构完成多模态预训练,避免离散视觉 token 带来的量化瓶颈,也无需按模态区分目标函数与采样流程。现有统一多模态模型要么把语言和量化图像都当作离散 token,要么用离散语言预测搭配连续图像生成。
针对现有多模态视频模型在工具使用推理上的不足,研究者提出 EgoTools,聚焦真实第一视角视频中以工具为中心的推理任务。该任务要求模型理解可供性、手-工具-物体几何关系、流程进展以及工具对目标物体的因果影响,而不仅是字幕生成和通用视频问答等感知类任务。
LEAP 是一个让模型自行检索证据、无需将整段录像放入同一上下文的长音视频问答框架。它把录像切成固定时长分块,用轻量定位流程为每块内的候选短窗口打分,再将排名最高的窗口汇聚并在一次有界回答流程中重新编码,以缓解整段编码耗尽上下文与均匀时间压缩稀释细粒度音视频证据的两难。
针对 LVLM 用 CoT 做空间推理时每步必须锁定单个 token、易因过早离散化传播错误的问题,研究者提出后训练框架 Soft Spatial Reasoning,在空间任务中引入软思考。该方法在每一步保留对空间解释的不确定性,而非强制提交单一 token,从而减少错误 token 选择带来的连锁推理偏差。
SpatialCORE 提出一种置信度感知的 grounded 空间推理方法,针对大型视觉语言模型(LVLMs)在视觉空间推理上的持续短板。现有引入 grounding 的空间推理方法只优化最终答案正确性,即使模型未基于高置信度定位结果推理也能获得奖励。
MemLife 是一个面向长期第一视角视频记忆的多模态系统,用于解决视频历史长达数百小时、逐次重处理原始片段算力开销过大的问题。现有记忆系统在实用基准上常因记忆未保留关键证据,或检索器在持续扩大的搜索空间中遭遇检索竞争而失效。
研究团队提出 OmniReasoning,包含音视频证据缺一不可的 OmniReasoningBench 基准、数据引擎与学习方法,该基准覆盖两类任务共 1,150 道选择题与开放题。现有基准、训练数据和学习方法大多将各模态独立处理,音视频联合推理能力因此缺乏充分评估与激发。
Dream4ACT 是一个面向跨具身联合视频-动作建模的世界模型,通过共享视觉动作接口统一不同具身的动作表示。研究指出,关节空间动作向量缺乏显式图像空间结构,且在不同具身间维度与语义各异,难以直接利用视频生成模型的时空先验;末端执行器可视化虽可替代,但无法给出机器人执行所需的完整关节构型。
微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据联合训练的生物学世界模型,以及连接模型、科学工具、文献与实验人员的交互式 harness 组成。
推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。
npcpy 是一个用于 NLP、多模态 LLM、Agent、ML 和知识图谱研究与开发的 Python 库。该库覆盖上述多个方向,定位为研发用途的工具库。
针对音视频大语言模型(AVLLMs)的"源混淆接地幻觉"——即未使用模态的线索诱导出所需模态并不支持的响应,研究提出源条件化中继引导方法 Question Relay。现有方法虽在缓解该失效上取得进展,但其如何从内部跨模态交互中产生仍未被充分理解。
研究者提出 SMART,一个用于长字幕翻译的自演化多智能体系统,通过测试时训练构建持久的剧集级记忆,并借助动态路由与 Mixture-of-Agents 层翻译部分句子。现有单 LLM 方法多停留在句子级,多智能体系统则常用无法适应场景复杂度的静态工作流。
LoopVL 将 Loop Transformer 扩展到视觉语言模型,通过 Module-Loop 与 Model-Loop 组合,用共享模块迭代更新统一的视觉语言状态,并从零完成语言预训练、多模态训练与后训练。它在多模态理解与视觉推理基准上超过同规模及更大规模的非循环模型,还出现跨循环视觉注意力显著转移的 Visual Aha Moments。
研究提出 MIST(Misleading-Image Stress Test)压力测试,包含 200 条英文句子,每条含一个可作比喻或字面理解的短语,并分别配对齐图像、误导性图像或无图像。标注规则要求仅凭句子判断答案,因此任何图像都不应改变结果,但实验显示无关图像会干扰 VLM 评判。
Video2Skill 提出流式具身技能发现(SESD)任务,即从连续观察到的操作经验中恢复可复用技能,作为规划的逆过程为未来智能体积累技能数据。研究关注 VLM 虽能描述单个操作事件,但能否将事件流组织成可复用技能。
HelixWorld 是一个实时交互式音视频世界模型,让视觉场景与基于相机的空间立体声在用户交互下原生同步演化。研究团队构建了带真实立体声与度量相机位姿的高保真空间音视频数据集,并据此预训练了一个双向模型。现有交互式世界模型大多只做视觉渲染与控制,忽略了声音维度。
一篇综述将视频-音频联合生成、跨模态生成与联合编辑统一形式化为同一音视频对分布上的三类问题,并沿五个设计维度对现有方法进行分类比较。该综述围绕"输出如何在时间与语义上保持跨模态一致"这一核心问题组织,作者称这是首个此类概览。
研究分析了多模态大语言模型潜在视觉推理(LVR)中潜在 token 的行为,发现存在"潜在证据信用缺口":当图像扰动改变正确答案时,潜在 token 的响应很弱。作者认为该问题源于缺乏显式监督,并据此提出将潜在推理锚定在视觉证据上的方法。
DataMagic 提出用声明式多智能体编排来创作数据视频,以解决现有工具依赖预制图表、端到端模型无法保证数据准确性与来源的问题。该系统面向数据分析、叙事设计与视频剪辑的专业门槛,试图统一表示图表等内容。
GeoSET 是首个面向 SAR-to-EO 图像翻译(SET)的通用模型,以单一预训练父模型为基础,在统一协议下适配下游数据集。研究团队从超 1000 万条 SAR 观测中筛选出超 300 万对高质量 SAR-EO 图像对。现有 SET 方法通常只在单一、有限规模数据集上训练,模型仅适配特定传感条件。
GeoCR 是一个通用去云模型,在单一网络内统一了基于 RGB 与多光谱、单时相或多时相含云观测的去云任务,并可选 SAR 引导。它通过紧凑的输入输出 stem 扩展预训练 RGB 自编码器,同时冻结其编码器与解码器主干,以适配不同光谱与传感域。
KeyRec 是一个免训练框架,通过构建有界视觉记忆来解决长视频与流式视频理解中视觉 token 随视频时长累积、长上下文推理成本过高的问题。它在与查询无关的写入阶段保留细粒度的近期观测,以区分近期细节与长程历史,避免现有免训练视觉 token 选择方法丢失连贯事件证据。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 基础上为原生实时对话模型加入近实时视觉形象,可同时处理视觉与音频输入并输出带表情和口型同步的音视频。
推荐理由:官方披露了 Live Avatar 的实时音视频对话、异步工具调用与 97 种语言同步能力,可据此判断企业级数字人交互的落地形态。
研究提出 NowWAM,一种无需未来目标预测的机器人控制方法,将预训练生成式 Diffusion Transformers(DiTs)的去噪能力直接用于动作学习,而非通过预测未来视觉帧来迁移生成先验。该方法重新审视了预训练生成式 DiT 对动作学习的实际贡献,并探索如何将这一先验适配到控制任务中。
laya 是一个 Non-autoregressive System 1 决策引擎,可在单次前向传播中对任意文本完成带类型的 choice、score 和 yes/no 决策,支持 100+ 语言。它通过一个 router 为每个请求选择对应的 checkpoint。该项目登上 GitHub 周飙升榜第 1 名。
vLLM 宣布支持 NVIDIA GPU 内置的硬件视频解码,通过集成 PyNvVideoCodec(NVDEC 的 Python 接口)把视频解码从 CPU 转移到 GPU,解决此前 CPU 解码瓶颈。
Black Forest Labs 发布多模态基础模型 FLUX 3,在单一架构中联合学习图像、视频和音频,可单次生成最长 20 秒带音频视频。
Google DeepMind 研究副总裁 Raia Hadsell 在第十届 RAAIS 演讲中提出,语言只是复杂系统之一,天气、生物、合成世界与物理运动同样可以用大模型学习其底层规律。