SAM 3D Animal：从野外图像进行可提示的动物 3D 重建
研究者提出 SAM 3D Animal，首个可从单张图像对多只动物进行 3D 重建的可提示框架，基于 SMAL+ 参数化动物模型，支持关键点和掩码提示以应对拥挤遮挡场景。团队同时发布含超 5K 图像的多动物 3D 数据集 Herd3D，该方法在 Animal3D、APTv2 和 Animal Kingdom 上取得 SOTA，论文入选 NeurIPS 2026 Oral。
#多模态
arXiv cs.AIAI 评分2222 arXiv cs.AIAI 评分2727 IAD-Unify：面向工业异常理解、分割与生成的任务专用接口
IAD-Unify 通过任务专用 token 接口统一 MLLM、稠密视觉专家与扩散编辑器，实现工业异常的理解、分割与生成。其多参考 DINOv2 通路将 1,369 个单元压缩为 81 个证据 token 供 Qwen3.5 使用，另有 256-query 接口将 Qwen 状态重采样为 Stable Diffusion 的交叉注意力上下文。
arXiv cs.AIAI 评分2323 mAVE：面向联合音视频生成模型的水印框架
研究者提出免训练水印框架 mAVE，通过在原生联合音视频扩散 Transformer 中绑定会话，防止攻击者拼接不同会话的水印模态冒充厂商原始联合输出。mAVE 将公开记录检索与秘密会话认证分离，用随机载荷经密码学摘要把音频比特绑定到会话密钥的视频网格，无需修改生成器权重或训练辅助水印网络。
arXiv cs.AIAI 评分2323 FreshMem：面向流式视频理解的脑启发频率-空间混合记忆网络
FreshMem 是一种受大脑对数感知与记忆巩固机制启发的频率-空间混合记忆网络，用于将 MLLM 从离线扩展到在线流式视频理解。它通过多尺度频率记忆（MFM）和空间缩略图记忆（STM）两个模块兼顾短期保真与长期连贯，在 StreamingBench、OV-Bench、OVO-Bench 上分别将 Qwen2-VL 基线提升 5.20%、4.52% 和 2.34%。
arXiv cs.AIAI 评分1313 GPF-Net：用于结肠镜息肉重识别的门控渐进融合学习
研究提出门控渐进融合网络 GPF-Net，通过全连接门控机制选择性整合多层级特征，并引入门控渐进融合策略实现语义信息的逐层细化与多层级特征交互。在标准基准上的实验表明，该多模态设置优于当前最优的单模态 ReID 模型，尤其在小息肉匹配场景下表现更佳。该工作已被 BIBM2026 接收。
arXiv cs.AIAI 评分2626 UniShield：面向统一伪造图像检测与定位的自适应多智能体框架
UniShield 是一个基于多智能体的统一伪造图像检测与定位系统，可覆盖图像篡改、文档篡改、DeepFake 和 AI 生成图像等多个领域。它通过感知智能体分析图像特征并动态选择检测模型，再由检测智能体整合各类专家检测器并生成可解释报告。实验显示其性能超越现有统一方法和领域专用检测器。
arXiv cs.AIAI 评分2424 Inverse-LLaVA：用文本到视觉映射重新思考多模态对齐
Inverse-LLaVA 反转了传统多模态对齐方向，在解码器注意力内将语言状态投影到视觉特征维度，由模态专属映射生成残差 query、key、value 更新，冻结骨干网络、无需独立对齐阶段。最终 7B 模型在 VQAv2 得 78.45%（LLaVA-LoRA 为 79.13%），VizWiz 得 50.96%（对比 48.56%），TextVQA 为 56.96%（对比 58.47%）。
arXiv cs.AIAI 评分2222 异构模态无监督域适应：Latent Space Bridging（LSB）框架
研究者提出异构模态无监督域适应（HMUDA）新设定，通过含两种模态配对观测的无标注桥接域实现跨模态知识迁移，并提出双分支框架 Latent Space Bridging（LSB）。LSB 用配对桥接样本上的特征一致性损失弥合模态差距，用类质心对齐损失缩小源域与目标域差异。在覆盖 2D-to-3D 与 3D-to-2D 迁移的八个基准设定上，LSB 取得 SOTA 性能。
arXiv cs.AIAI 评分4040 Humanity's Sixth Sense：多模态模型直觉视觉推理基准测试
研究者推出 Humanity's Sixth Sense（HSS）基准，用于评测多模态大模型（MLLMs）的直觉视觉推理能力，涵盖图像与视频输入，按时间、空间、社交和抽象结构分类。人类参与者准确率达 93.1%，而最强模型 GPT-6-astra 即使开启最大推理努力也仅达 53.6%。引入动态视觉操作的智能体设置可缩小差距但未能弥合。
arXiv cs.AIAI 评分2424 LAMAE：面向多模态心脏表征学习的潜在注意力掩码自编码器
LAMAE 是一种多模态、结构感知的掩码自编码器，通过共享潜在注意力模块在 study-view-entity 层级上直接交换信息，实现患者级表征的联合自监督预训练。该模型在超 50 万次 MIMIC-IV 住院数据上预训练，在院内死亡率、ICD-10 与 DRG 编码、住院时长等多模态任务上优于模态特定预训练及对比学习、视觉语言基线，同时在单模态任务上保持竞争力。
arXiv cs.AIAI 评分3030 Multi2AV-Safety：多模态到音视频生成的安全基准测试
研究者提出 Multi2AV-Safety，首个覆盖多模态到音视频生成全组合的红队基准，包含 11,024 个攻击实例，覆盖全部 11 种非单一 T/I/A/V 条件配置、4 类攻击意图和 5 类危害。
arXiv cs.AIAI 评分2222 CRUISE：VLM 引导的不确定性感知跨模态传感器融合框架，提升自动驾驶鲁棒性
针对恶劣天气与低能见度下多传感器融合可靠性下降的问题，研究者提出 CRUISE 框架，用视觉语言模型（VLM）引导的不确定性量化模块生成像素级不确定性估计，为融合过程提供细粒度指引。该框架还引入动态自适应机制显式建模跨模态依赖，以充分利用多传感器输入的互补性。
arXiv cs.AIAI 评分2424 EgoBench：面向工具使用智能体的交互式第一视角多模态基准
EgoBench 是首个面向工具使用智能体的交互式多模态基准，包含 1,590 个第一视角视频任务，覆盖五类日常场景，并配套用户-智能体-工具交互环境。该基准通过三阶段协同流水线强制任务同时调用视觉感知与工具增强的多跳推理，并用多智能体模拟用户生成高保真、任务对齐的反馈。在三种交互模式下评测八个视频 MLLM 智能体，最佳模型平均 Joint Success Rate 仅 34.95%。
arXiv cs.AIAI 评分1717 MissMAC-Bench：面向鲁棒多模态情感计算缺失模态问题的基准
MissMAC-Bench 是一个针对多模态情感计算（MAC）中缺失模态问题的综合基准，提出训练时无缺失先验、单一模型同时处理完整与不完整模态两条原则，并在数据集和实例层面整合固定与随机缺失模式的评测协议。该基准在 4 个数据集、3 个语言模型上完成实验验证，代码已开源，论文被 EMNLP 2026 Findings 收录。
arXiv cs.AIAI 评分3232 MobileWorldBench：面向移动智能体的语义世界建模
研究者提出 MobileWorldBench，用于评估视觉语言模型（VLM）作为移动 GUI 智能体世界模型的能力，并发布含 1.4M 样本的 MobileWorld 数据集。他们还提出将 VLM 世界模型接入移动智能体规划框架的新方法，用自然语言描述状态转移而非预测像素，实验显示语义世界模型能直接提升移动智能体的任务成功率。代码与数据集已公开。
arXiv cs.AIAI 评分2222 MAMHOI：通过可供性分解实现场景感知的人-物交互生成
MAMHOI 通过显式的运动-可供性接口，将场景感知的人-物交互生成分解为场景理解与运动合成两步：场景条件模型先预测交互在哪里、如何可行执行，可供性条件 HOI 模型再生成对应的人-物运动。该方法无需配对的人-物-场景数据，即可从互补监督来源中学习场景理解与交互动态。在复杂室内环境实验中，MAMHOI 减少了物体-场景穿透，同时更好地保持了人-物交互质量。
arXiv cs.AIAI 评分2424 GPD：用路由式 3D 特权蒸馏提升视觉语言模型空间推理能力
研究者提出 GPD（Geometry-Privileged Distillation），将深度、语义与鸟瞰图（BEV）线索渲染为紧凑文本，按问题路由给教师模型，仅对错误轨迹施加特权 KL 以增强 GRPO，部署模型仍只用 RGB 输入。
arXiv cs.AIAI 评分2222 ME-World：细粒度具身交互的多智能体自我中心世界模型
研究者提出多智能体自我中心世界模型 ME-World，将多智能体自我中心世界建模定义为多个智能体通过细粒度动作在共享世界中交互的同步自我流生成。该方法在共享 token 序列中联合去噪多条自我流，以所有智能体的目标视角位姿为条件，并用共享环境记忆约束生成，同时提出环境、更新与身份一致性指标。实验显示 ME-World 在共享世界一致性、动作控制、身份保持和视频质量上优于现有方法。
arXiv cs.AIAI 评分2323 DVD：面向高效 MLLM 感知的动态向量解码方法
研究提出动态向量解码方法 DVD，将 2D 边界框、2D 掩码和 3D 边界框统一转为 1D 向量序列并映射为高维空间中的紧凑离散 token，再通过轻量 de-tokenizer 解码回原始感知表示，实现与 MLLM 的无缝集成。
arXiv cs.AIAI 评分2323 Syn-Omni：面向全模态嵌入的结构化专精与渐进协作框架
Syn-Omni 是一个面向全模态嵌入的统一框架，通过 Orthogonal Modality-Expert LoRA（OME-LoRA）将适配分解为共享 LoRA 路径与模态专家 LoRA 路径，并用 Progressive Synergy Routing（PSR）让专家先建立模态先验再逐步跨模态协作。
arXiv cs.AIAI 评分3232 从提示词到构图：面向海报生成的空间画布界面 Compo
研究者提出空间画布界面，让用户通过语义、身份、文本、像素四种绑定类型直接在空间中构图，并据此开发了海报生成模型 Compo。Compo 由预训练图像编辑模型适配而来，支持用户显式构建画布的直接推理模式，以及将高层请求自动转化为规划画布的智能体模式。实验显示，Compo 在构图可控性上优于通用图像生成模型和专用海报生成系统，同时保持高视觉质量。
arXiv cs.AIAI 评分3737 VibeEdit：用画布指令进行图像编辑
VibeEdit 提出一种画布指令图像编辑界面，用户直接在图上标注空间标记和简短备注来指定编辑位置与内容，无需单独文本提示词，即可完成对象添加、删除、替换、属性修改和移动。
arXiv cs.AIAI 评分2727 VINCIE-NExT：通过上下文建模从图像解锁视频编辑
VINCIE-NExT 提出统一框架，通过上下文视觉演示将图像编辑能力迁移至视频，缓解大规模配对视频编辑数据稀缺问题。该方法将视频编辑分解为 Video→Image→Image→Video 的可组合子任务链，并引入新位置编码在共享空间坐标系中对齐图像演示与视频帧，实现外观编辑的像素级传播。
arXiv cs.AIAI 评分2424 DataVista：首个数据视频理解基准，诊断多模态 LLM 的图表叙事能力
研究者发布 DataVista，首个面向数据视频理解的基准，包含 961 个真实数据视频和 6,775 道评测题，按数据感知、时序推理、叙事理解三级能力框架组织，覆盖 10 种题型和 5 个主题领域。
arXiv cs.AIAI 评分2424 从表层到深层：多模态情感理解中的认知评价推理
研究者提出将多模态情感理解从感知推进到认知评价的新范式，并发布 CogEmo-40K 指令微调数据集、紧凑稀疏 MLLM CogEmo-MoE 及 CogEmo-Bench 基准。
arXiv cs.AIAI 评分2727 AIMS：自适应多上下文引导缓解 LVLM 幻觉
研究者提出 AIMS（Adaptive Information Multi-source Steering），一个无需训练的轻量框架，通过在解码时自适应协调视觉、预填充文本与生成文本三种上下文来源来缓解 LVLM 幻觉。
arXiv cs.AIAI 评分2424 ResOT：通过局部化分布对齐修复大型视觉语言模型的目标幻觉
针对大型视觉语言模型（LVLM）的目标幻觉问题，研究者提出免训练方法 ResOT，在推理时通过局部化分布对齐修复表征。该方法将主导幻觉方向投影出忠实子空间，形成低维残差子空间，并用高斯最优传输（OT）对齐幻觉分布与忠实分布，自适应控制每个 token 状态向 OT 目标的移动幅度。在三个代表性 LVLM 上的实验显示，ResOT 大幅降低目标幻觉，同时提升图像描述质量与多基准多模态性能。
arXiv cs.AIAI 评分2222 从像素到结构：轻量级视觉语言模型用于文档 OCR 与结构化 JSON 抽取
一项对比研究评估了八款开源轻量级 VLM（最高 7B 参数）在三个高校遗产收藏上的 OCR-to-structure 表现，要求模型从文档图像中抽取文本并生成符合 schema 的 JSON。
arXiv cs.AIAI 评分2222 AuraLuxMuse：融合音乐与专家指导的自适应舞台灯光美学设计系统
AuraLuxMuse 是一套自动化美学舞台灯光设计系统，通过 Lighting-Aligned Music Pretraining（LAMP）对音频与灯光提示进行对比学习对齐，并用 Preference-Adaptive Mixture of Experts（PAMoE）按设计师意图实现偏好感知的提示检索与适配。
arXiv cs.AIAI 评分3737 Hi3D 3.0（Twinkle3D）：面向特定物体的高分辨率 3D 资产生成
Hi3D 3.0 图像到 3D 生成系统发布，其几何模型 Twinkle3D 可生成 2048³ 分辨率的封闭三角网格。Twinkle3D 通过重设计的 DiT 架构将扩散生成扩展至 30 万几何 token 序列，单步训练时间从约十分钟降至十秒，单阶段模型即超越此前带 512³ 精修的两阶段流程。
arXiv cs.AIAI 评分2222 CAMEO：面向超声报告生成的临床感知多图像证据框架
CAMEO 是一个临床感知的多图像证据编排框架，用于从超声图像生成报告，通过三阶段流程学习视觉语言基元、跨视图证据接地和临床感知偏好对齐。
arXiv cs.AIAI 评分2424 MSGAT：面向图像-文本检索的多头脉冲图注意力与相似度空间融合
针对脉冲神经网络（SNN）在图像-文本检索中难以捕捉跨模态对齐所需语义结构的问题，研究者提出多头脉冲图注意力网络 MSGAT，并配备动态注意力头以进行脉冲驱动的图推理与聚合。
arXiv cs.AIAI 评分2424 ACT³：一种以动作为中心的三流 Transformer，融合语义与动力学
研究者提出 ACT³，一种以动作为中心的三流 Transformer，将 VLM 的语义理解与 WM 的动力学预测融合进控制动作，同时保持各上下文流的独立前向传播。该设计让专用动作专家通过逐层注意力访问 VLM 和 WM 表征，各骨干仅在本流内做注意力，并均可通过控制监督更新。在仿真与真实机器人操作基准上，ACT³ 表现优于同类方法。
arXiv cs.AIAI 评分2222 重新审视 CLIP 后训练中的对比损失：一种冻结文本编码器的互补框架
研究提出 ComCLIP，一种单轮轻量后训练方案，通过冻结 CLIP 文本编码器、采用合适温度 τ 的对比损失、MSE 锚定损失和 DINOv2 关系蒸馏损失训练视觉编码器。
arXiv cs.AIAI 评分2727 MetaEncoder：用自然语言界面探索双编码器在多模态 System One 决策中的极限
MetaEncoder 将预训练的 Muse-Glimmer 30B 解码器微调为指令遵循的决策编码器，采用双编码器架构和单向对比学习实现请求与候选选项的对齐。该方法同时支持小于 256 的闭集候选和百万级开集候选，在 11 个基准套件、190 项任务上评测，覆盖多模态决策、理解与检索，并在推理密集型任务上暴露出当前局限。
arXiv cs.AIAI 评分3030 VAMR：面向高效长视频理解的多问题智能体推理
VAMR 通过一条共享的工具调用轨迹统一处理同一长视频的多个问题，避免每个问题各自重启视频探索与记忆构建。在 LVBench、Video-Holmes 和 LongVideoBench 上，VAMR 总体准确率最高且迭代方法中推理轮数最少；LVBench 上达 62.1%，超 VideoARM 4.3 分，推理轮数与处理帧数分别减少 85.9% 和 61.4%。
arXiv cs.AIAI 评分2323 SP-DocReader：面向精准文档 OCR 的差异感知自博弈框架
SP-DocReader 是一个针对监督微调后残余误差的 OCR 自博弈框架，仅训练 OCR 模块、冻结主干。在 Qwen3-VL-4B 上，SP-DR-3 相比 SFT-2 将 Vary-600K 字符错误率降低约 54%，DocVQA ANLS 提升 3.7 分。
arXiv cs.AIAI 评分2222 用多模态食物项验证与恢复改进基于图像的营养估算
该研究提出一个无需任务特定微调的框架，用多模态大语言模型（MLLMs）清点可见食物，并分别验证食物身份及每个候选 2D 区域是否支持份量估算。整图复核利用验证结果找出未解决缺口和遗漏食物，触发至多一次定向恢复，恢复区域在无恢复提示词条件下重新验证后并入最终食物项集合。
arXiv cs.AIAI 评分2828 ActiveMedAgent：面向多模态医疗诊断的成本感知轨迹学习
ActiveMedAgent 提出一种成本感知的序贯诊断框架，在冻结的 API 视觉语言模型上追踪候选诊断概率分布，并按每步诊断效用减去成本对证据采集打分，再用轻量 MLP 控制器离线学习何时追加证据、何时给出结论。在三个常用基准上，基于轨迹的策略学习持续优于无引导采集和全模态基线；研究还发现信息过载效应，175 个案例中智能体用更少通道即得出正确诊断，而全模态基线失败。
arXiv cs.AIAI 评分1717 跨水空界面的连续真值构建与恢复策略：CMRP 提升 MixFormerV2 跟踪性能
针对跨水空界面视觉跟踪中飞溅、气泡、折射等导致观测失效的问题，研究者构建了同步相机帧与动捕位姿的真值流水线，生成 22,346 帧的跨介质评测集。其提出的 Cross-Medium Recovery Policy（CMRP）以置信度触发模板选择，为 MixFormerV2 提供固定初始模板、窗口最优预触发模板和触发帧 Kalman 引导裁剪，无需重训练视觉骨干。