基于控制的动态优化实现多样化运动定制
针对视频生成中运动定制的内容泄漏问题,研究者提出 Control-based Motion Customization(CMC)训练框架,将泄漏归因于生成过程向参考视频坍缩,即学习目标被表述为对参考视频的直接回归。CMC 通过基于控制的动态优化实现结构上对内容泄漏的鲁棒性,并支持多样化运动定制。
针对视频生成中运动定制的内容泄漏问题,研究者提出 Control-based Motion Customization(CMC)训练框架,将泄漏归因于生成过程向参考视频坍缩,即学习目标被表述为对参考视频的直接回归。CMC 通过基于控制的动态优化实现结构上对内容泄漏的鲁棒性,并支持多样化运动定制。
针对现有旋律引导歌词生成方法依赖符号化旋律、难以直接处理原始演唱音频的问题,研究者提出 ARIA——一个两阶段的音频驱动旋律-声调关系建模框架,可直接从演唱录音生成粤语歌词。该方法面向粤语歌词创作中字调与旋律音高需紧密对齐的需求,将音高隐含、含噪且非结构化的演唱音频纳入建模。
研究者提出 Draw-or-Decline(DoD)基准,用 7 类任务共 1,050 对可行-不可行请求,同时衡量统一多模态模型的编辑成功率与对不可行请求的拒绝能力。在 8 个统一多模态模型上的评测显示,模型在编辑任务上的表现与其对不可行请求的弃权行为存在明显脱节。
WorkflowOps 是一个多智能体工作流编排框架,能从历史工作流中学习智能体协作先验,并按需扩展智能体池以覆盖新的能力需求。它引入三项耦合机制,其中转移概率矩阵用于刻画智能体两两之间的协作频率。
OOPMAS 是一个免训练框架,可同时生成智能体集合与协作工作流,把多智能体系统的自动化设计从任务级细化到查询级。现有方法通常为每个 benchmark 只产出一套固定工作流并统一套用到所有查询,难以应对同一任务内难度差异大、真实负载混合多种任务类型的情况。
针对 MoE 视觉语言模型在视觉与文本组合下出现的组合式安全风险,研究提出不干预模型内部状态、而是读取 router logits 的多模态安全方法。现有提示词、监督微调与基于路由的专家引导等干预手段在不同模型和评测分布上提升不一致,且因过度拒答带来安全与可用性的权衡。
研究者提出 VisualNoiseQA,一个面向噪声视觉反馈下主动推理的新基准:纯文本 LLM 需通过迭代查询固定的视觉工具来解决 VQA 问题,而反馈本身带有噪声与不确定性。现有主动推理基准大多假设环境反馈可信,或引入噪声却不提供显式、可校准的不确定性信号。
SENSE 是一个状态感知框架,用于生成可玩的分支视觉小说并支持多轨情绪导航。它整合了名为 MIND 的状态化叙事架构、结构分析器和路径感知上下文管理模块,仅凭少量高层输入即可生成多条交叉路线,同时保持角色一致性与叙事因果性。基于 LLM 评判、情感指标和视觉评估的评测显示,SENSE 在多项指标上优于基线。
研究借用比较与发展心理学的 Relational Match-to-Sample(RMTS)范式,对 GPT、Claude、Gemini 等前沿 API 模型及 Qwen3.5、Gemma-4、InternVL3 三个开源系列做机制分析,探究 VLM 在抽象推理任务上系统性失败的原因。现有基准只能记录失败,无法说明缺失的是哪种认知能力。
研究提出 STAVE,用两个向量替代上下文示例,让冻结的大多模态模型(LMM)无需每次查询重新编码演示图像。现有免示例方法需按任务搜索插入位置或在每个解码层添加任务参数,任务参数随深度增长,且插入的 token 或 key 无法改变原提示词在层内的注意力分配。
OpenSplatGraph 将 3D Gaussian Splatting 构建的稠密语义地图转化为结构化 3D 场景图,用于开放词汇机器人感知。现有基于 3D Gaussian Splatting 的建图方法虽能提供高保真几何与高效开放词汇感知,但语义以非结构化特征场表示,限制了以对象为中心的推理;而场景图方法多依赖稀疏几何表示,未能充分利用稠密语义地图。
研究者提出 Physics-Guided Visual Prompting(PG-VP),一个即插即用的多模态感知模块,让冻结的 VLA 模型在 RGB 相机无法察觉的辐射或温度骤升风险下仍能安全导航。该方法复用 VLA 已有的可见障碍物规避能力,无需新编码器、新数据或重新训练模型。
自动手语翻译(SLT)已进入消费产品,可将美国手语转为英文文本用于听写、消息和对话助手查询,但儿童向 AI 与平台安全工具只对文本做过滤和诱骗风险分类,手语儿童须经翻译才能触达这些防护。研究未发现任何公开记录的系统对二者进行联合评估,且主流已部署的 SLT 模型既未针对该场景训练,也未经过正式评估。
研究提出 SSU-Bench 数据集,由通过单项提示词编辑或图像编辑构建的配对安全与不安全图文组合组成,并标注了预期区域。在三个视觉语言模型上,研究者通过在对配对输入之间迁移内部状态,测量安全判定结果的变化,从而定位模型内部联合安全判断的形成位置。
一项针对印度卡纳塔克邦 305 名以 Kannada 语为母语、就读英语授课院校的本科生的实地研究,对比了书面作答与基于文本、语音的 AI 对话活动对学生学习和参与度的影响。研究考察了活动形式、交互模态与语言三个因素,探讨对话式 AI 能否在 LLM 普及背景下重新设计学习活动,以及多语言能力是否让非母语学习者更易参与。
ElasticFit 是一个由 VLM 引导的 3D 物体插入框架,通过一种新的场景接地表示实现贴合感知插入。它针对现有 VLM 与生成模型在受限局部空间中 3D 接地与几何控制不足的问题,让插入物体在满足语义意图的同时贴合局部几何并保持物理合理性。
研究者构建了 TC3-VQA 数据集,用于将伤情与干预措施的视觉观察同可追溯的 TC3 临床指南相连接。该数据集取自公开的 TC3 教学与实战视频及权威 TC3 文档,包含 581 个条目、覆盖 11 个概念,共 1,860 个问题,涉及干预识别、教条、临床推理、流程指导以及视觉信息不足时的拒答。
Reka AI 发布 190 亿参数全能模型 Rho-1 的研究预览版,在单一神经网络内处理并生成文本、图像、视频和机器人控制动作。该模型将全部模态作为 token 放入同一上下文窗口,无需工具调用或外部模型,可实时生成连续视频并即时响应新指令,同一套权重既预测摄像头图像也驱动机器人运动。
该研究将连续环境下的视觉语言导航(VLN)方法从仿真迁移到真实阿克曼转向移动机器人,无需导航图、360 度全景视图或完美定位。系统集成视觉语言模型,以自然语言指令驱动机器人导航,提升人机交互的直观性。
研究者提出"宽高比自适应流程图重排版"任务:给定一张栅格流程图和目标宽高比,生成结构忠实、无幻觉、可编辑的布局,以适配论文分栏、16:9 幻灯片、竖版海报、1:1 社交图和 9:16 手机预览等画布。现有图生图方法会拉伸图块且无法处理极端比例。
研究提出一种通过自然语言提问读取多模态 Diffusion Transformer(MM-DiT)上下文空间的框架,训练轻量瓶颈网络将中间上下文 token 映射到冻结 LLM 的输入空间,让 LLM 直接回答关于生成中图像的问题。该方法针对生成过程中经多模态注意力反复更新、功能尚不明确的动态文本 token。
研究者推出 PlaySuite,一个覆盖超 5K 款开源视频游戏的大规模基准,用于评估多模态基础模型的交互式视觉智能。这些游戏来自 PyWeek 与 itch.io,涵盖 Pygame、HTML5、Godot、Unity 等引擎与多种类型,对当前模型大多属于分布外数据。该基准针对现有评测忽视的长时间跨度动态环境中的行动能力。
SAFE-MR 框架将断言真实性判断与证据充分性判断分离,通过把图文帖子拆解为可验证断言、构建关系感知的断言-证据图,并依据来源与上下文兼容性聚合证据,再以独立的真实性头与充分性头输出结果。该研究针对检索到的相关证据未必足以支撑验证的问题,指出缺失来源、重复报道与未解决的矛盾会导致缺乏充分依据的自信预测。
MedPrune 是一个面向医学 VQA 的高效多模态多智能体协作框架,通过动态剪枝通信拓扑中的节点与边来提升推理能力与 token 效率。该框架将诊断过程建模为异构结构,以缓解现有临床工作流式多智能体框架因冗余通信拓扑带来的交互模式与计算开销问题。
研究者提出 MM-KG(Multimodal Knowledge Graph),将异构多模态患者观测数据与生物医学概念表示为同一类型图中的独立层,并通过显式对齐边连接。模态专属协调器先把 EHR 文本、影像、基因组和生物样本数据转换为带类型的表示。该设计使临床预测可追溯到证据来源,并可通过移除证据衡量其贡献。
VideoTapestry 是一个免训练的多智能体框架,通过由粗到细、查询驱动的精炼,对预构建的分层视频记忆进行自适应调整,用于长视频理解。该框架针对查询驱动探索易受定位误差影响、查询无关记忆构建易遗漏问题特定细节这两类现有范式的不足。
BrainTRACE 是一个面向脑 MRI 临床推理的、基于报告的基准,用于追踪纵向、多模态与体积证据链。现有医学 VQA 与 3D 影像基准多以孤立图像、静态体积或无依据的报告式答案评估脑 MRI,掩盖了支撑临床有效性的证据链失效问题。
研究提出多模态安全评估应在行为分类之外报告"可控性画像",区分表征层可检测性、跨模态特异性、干预敏感性与良性保持选择性。团队以隐式毒性为压力测试场景,在 LlavaGuard 和 Qwen3.5 上用稀疏特征实例化了该画像。
博主用 Claude、numpy 负片转换、LaMa 修复模型和本地 Ollama 中的 Qwen3-VL,将每卷 36 张、约 4 小时的手工胶片扫描流程自动化,并通过 Cloudflare R2 搭建胶卷式在线画廊。
SpatialChain 是一个用于审计 VLM 空间推理忠实度的基准,包含 28,350 条训练样本和 899 条测试样本,将 GQA 空间问题与场景图推理链配对,仅保留生成答案与符号真值匹配的样本。其双轴评估结合客观链重叠指标与场景图感知的 LLM 评判器,对忠实度进行打分,以区分正确答案来自真实空间推理还是语言捷径。
针对 MLLM 几何图形理解中视觉线索稀疏、符号与图元关联模糊的问题,研究者提出免训练的推理期方法 CVIF,通过定位关键层并在证据聚合向语义解码过渡时执行视觉干预。该方法旨在减少模型依赖文本先验、给出与视觉证据相冲突解读的情况。
针对 VideoLLM 的强化学习仅提供序列级奖励、缺乏 token 级指导的问题,研究者提出多证据自蒸馏方法 MeSD,通过让自教师模型基于特权信息提供密集的 token 级监督。该方法指出在单一教师上下文中聚合异构证据会掩盖证据间的一致与冲突,并进一步探讨教师指导应用于优化奖励更新还是为失败样本提供纠正性监督。
SenseNova 6.8 Flash Preview 展示动态设计能力,可将静态图像转化为动态效果。该预览以 vibe coding 方式驱动,官方将其称为"爪爪版"动态设计。
一篇题为《Octrees as an Explicit 3D Language》的论文提出将八叉树(Octrees)作为显式的 3D 语言。原文未披露模型、参数或基准等更多细节。
EditHero 是一个面向长程部件级3D编辑与氛围建模的基准。该基准聚焦于对3D模型进行部件级别的编辑操作,并涉及氛围建模任务。
研究者提出 Test-Time Correction(TTC),将视觉语言模型(VLM)的测试时自适应(TTA)从预测侧调整重新表述为候选验证,以避免调整 logits、原型、缓存、先验或特征统计带来的额外计算开销。该方法面向 VLM 在推理时遭遇目标域偏移的场景,原文未给出具体 benchmark 分数或速度倍数。
在九个图像-文本-表格数据集上,三模态模型在 VICReg 下有 55.6% 的配对运行不如其自身最佳双模态子集,SimSiam 下同样有 51.1% 出现该现象,研究者将这种失败称为"多模态饱和"。为此提出 Riemannian VICReg(R-VICReg),通过可学习负曲率乘积因子上的测地距离平方对齐视图,对经典 VICReg 进行推广。
瑞典轴承制造商斯凯孚(SKF)用 AI 生成已故好莱坞影星葛丽泰·嘉宝的形象拍摄广告,项目已获嘉宝遗产管理方及家属授权。图像由字节跳动 Seedream 5 Pro 和谷歌 Gemini 的 Nano Banana Pro 生成,动作用 Seedance 2、Seedance 2.5 和快手可灵 AI,语音基于嘉宝早年影片原声训练,未使用存档照片或历史影像。
针对大型视觉语言模型(LVLM)的物体幻觉问题,研究者提出免训练干预方法 ROT,不再调整注意力权重,而是直接作用于自注意力与残差相加后提取的隐藏状态向量。实证分析发现,幻觉 token 并非单纯过度依赖语言先验,而是对文本与视觉上下文的相似度都显著偏低,呈现异常的上下文偏离。
研究将"最小变更"原则作为基于指令图像编辑的优化目标,指出潜空间 L1 正则化在现代非线性生成器中难以有效约束输出局部性,且通常需要大规模场景下无法获得的监督信号。为此改用强化学习直接优化编辑结果,由一个智能体式视觉语言奖励模型审查源图、指令与编辑后图像,检测两类失败类型。