肾细胞癌分类中放射组学-图像融合的概率校准评估
研究基于 KiTS23 数据集的 396 名患者,评估在四类图像模型中引入放射组学后概率预测质量的变化。在 12 组匹配对比中,AUC 和 AP 全部提升,Brier score 与 NLL 在 11 组改善,ECE 在 8 组改善;3D MedVAE 门控融合模型表现最佳。对拼接、交叉注意力和门控融合做概率平均,可在全部四类架构上同时改善区分度与校准。
研究基于 KiTS23 数据集的 396 名患者,评估在四类图像模型中引入放射组学后概率预测质量的变化。在 12 组匹配对比中,AUC 和 AP 全部提升,Brier score 与 NLL 在 11 组改善,ECE 在 8 组改善;3D MedVAE 门控融合模型表现最佳。对拼接、交叉注意力和门控融合做概率平均,可在全部四类架构上同时改善区分度与校准。
SAGE 是一个面向智能眼镜的硬件感知受保护 VLM 推理框架,将原始图像与未受保护的视觉 token 留在可信设备上,并把受保护表示压缩为 256 维 INT8 数据包后再传输。
针对动态音视觉导航(D-AVN)中现有方法依赖语义听觉特征、难以泛化到未见声音类别的问题,研究者提出两阶段多模态学习框架:物理对齐阶段用 Intensity-Calibrated Geometry Encoder(ICGE)将声音强度与视觉几何做物理对齐。
研究团队推出 LabInstruct,一个面向真实实验室的实景教学视频生成基准,涵盖 5 个学科、204 项任务,配有真实参考执行及物体、动作、接触和状态转换的结构化标注。对 8 个前沿图生视频模型的评测显示,视觉上逼真的生成结果往往在流程上并不正确,暴露出视觉真实感与实验教学可靠性之间的显著差距。
研究者提出 Barycentric Anchored Search,一种无需梯度训练、不增加推理成本的事后权重空间方法,仅用两个微调检查点即可提升视觉模型在分布偏移下的鲁棒性。
一篇综述用信息论统一视角串联多模态学习,将互信息(MI)、信息瓶颈(IB)与部分信息分解(PID)视为逐步细化的信息处理层次,分别刻画模态间依赖、任务导向的信息压缩保留,以及冗余、独有与协同信息的分解。
AesCode 通过将同一提示词生成的图像作为美学引导,让代码模型生成幻灯片、海报、仪表盘等视觉产物的代码。该方法用设计图表示整个画布,并从中导出解耦的跨模态奖励:确定性验证器评估可从代码和渲染中解析的属性,VLM 评判器则用样本专属的 Visual Graph Rubric 评估不可解析属性,再通过强化学习与逐通道归一化联合优化。
优必选 Thinker 团队提出统一多模态世界模型 Thinker-WM,通过共享的 Unified Dynamics Transformer 与模态专属编解码器,联合建模并生成 RGB、度量深度和机器人动作。
ABot-ER 是一个统一具身推理基础模型,在感知、规划、执行三大能力上同时达到专家级深度。其 Agentic Data-Model Self-Evolution Engine 持续根据模型能力状态调整数据策略,Task-Conditioned Adaptive Training Strategy 则用 task tokens 激活共享骨干上的轻量低秩残差。
针对全模态大语言模型在音视频干扰下的跨模态幻觉,研究者提出免训练推理时方法 CaRe(Conflict-aware Residual Intervention),通过纯文本模态探针识别候选模态反事实分支,在其预测与原始联合预测冲突时判定为"模态误路由",并利用反事实与融合表示的残差方向引导多模态状态回归相关模态证据。
视觉语言模型在深度判断中会系统性地偏向图像平面线索,而非真实深度信息。研究通过深度与线索冲突实验发现,即便模型答错,正确深度顺序仍可从目标物体的视觉表征中解码出来。通过物体级写回强化模型自身的深度读出,可在不更新参数、不使用真值深度标注的情况下纠正冲突判断,但效果因架构和领域而异。
研究者提出 STOU 基准,包含 2,902 条第一视角视频-音频与视频-文本查询,按潜在伤害对象分为用户自身(Self)、同场他人(The Others)与社会整体(Others)。该评测将安全理解与拒答行为解耦,除拒答外还考察模型是否识别用户意图、伤害的存在与对象及其后果。在 10 个开源与闭源全模态及多模态 LLM 上,拒答率随伤害对象系统性变化,且模型常识别出风险仍继续提供帮助。
MedEvo 利用医学标签分类与错误类型诊断来导航轨迹修复和数据选择,仅靠 SFT 即将 Qwen3.5-9B 在七个基准上的平均准确率从 65.57% 提升至 69.12%,其中 MedXpertQA-MM 从 47.40% 升至 54.50%,超过教师蒸馏 SFT 的 66.93%。
研究者推出 RoTA-Bench,通过交互式 3D 到 2D 投影对齐评估视觉语言模型的 3D 空间推理能力,包含 674 个任务及 100 个分层测试任务。GPT-5.6-Sol 仅完成 17% 的任务,而 20 名本科生参与者以 100% 成功率集体完成测试集四次。在相同状态下,模型比人类更常出现轮廓重叠改善但姿态对齐变差的情况(19.4% vs. 10.9%)。
在 HumanML3D 上的多 schema 运动 VAE 实验显示,即使输入完全相同,原始 Recall@1 仅为 5.9%–17.7%,配对 token 余弦相似度为 0.221–0.484,但经线性校准后对应关系几乎可完美恢复。
研究者推出 PhysCodeGym,一个面向物理可验证 4D 重建的编程智能体基准,包含 156 项任务,覆盖刚体、液体、可变形体和风驱动运动。智能体需自主查看视频、编写并运行 Blender 程序,并借助仿真反馈修正场景,评估由 6 项指标结合规则测量与评分判断构成。
研究者提出 RealityBench,用 Blender 构建覆盖 11 种环境的模拟场景,评测视觉语言模型记录屋顶光伏安装、车辆维修等体力工作的能力,分为图像可接受性与文档记录两类任务。
研究者推出 ChemExplain,一个从 383 篇同行评审论文中构建的 1180 道多选题化学基准,每题给出分子或反应图像、观测到的化学效应和四个候选解释,要求模型完成"解释性归因"。基准由多智能体框架自动构建并经八位化学领域专家验证,最强模型准确率为 78.6%;在 600 题专家复核子集上,该模型 71.4% 的错误被归类为归因失败。
研究团队提出 Agentic Video Auto-Encoder(AVA-Encoder),从成片反向构建智能体可读的 Film Knowledge Graph(Film KG),以重建本身作为监督信号。
VL-DocIR 是一个面向视觉长文档检索的页面级基准,由 Wikipedia、arXiv、PubMed 和 SEC 代理声明的 29,641 篇 HTML 文档渲染为 388,548 张页面图像,包含 23 个领域、271,760 条查询和六种证据结构。
多模态深度搜索框架 Neos 通过可训练的多模态证据接口(MEI)将检索内容转化为目标条件观测,并用智能体-环境协同演化流程交替进行策略强化学习与 MEI 监督微调,使证据获取与证据驱动决策形成闭环。Neos-9B 和 Neos-35B 在十项基准上取得专业多模态深度搜索智能体中的领先表现。
一项研究提出 ArXivDoc 基准,基于科学论文的 LaTeX 源码构建,用于比较文本、图像与多模态表示在科学文档检索中的效果。结果显示,文档即图像表示持续表现次优,且随文档长度增加更明显;纯文本表示最有效,即使面对图表类查询也能借助图注和上下文取得优势;交错文本+图像表示无需专门训练即可超越文档即图像方法。
Omni-Embed-Audio(OEA)是一个基于多模态 LLM 的检索导向编码器,在 AudioCaps、Clotho 和 MECAT 上文本到音频检索性能与 SOTA 的 M2D-CLAP 相当。
研究对比了视觉语言模型物理推理中的外部奖励与内部注意力奖励:外部奖励(规则化格式与答案正确性检查、LLM-judge 评分)贡献了大部分准确率提升,奖励推理 token 时推理链更连贯。内部注意力奖励无需标注或评判模型,可改善空间关系推理,与外部奖励互补,在 Molmo 2 上以零额外标注成本提升平均准确率并泛化到分布外任务。
腾讯多模态 RL 团队提出 Game-Creation-Agents(GCA),可将自然语言请求转化为可运行的 Phaser 4 浏览器游戏。该流水线先构建多模态游戏设计文档,再投影为运行时脚手架、机器可读契约与确定性测试,由八个专用智能体串行实现场景、并行生产素材并合并为单一构建,经真实 UI 检查与代码盲评审后决定是否发布。
论文提出 GeoVec-VLM,将地理空间矢量几何作为 VLM 的原生空间模态,通过结构化几何表示与几何交互策略,让感知和推理在共享几何参照上进行。在五项空间推理任务上,其平均准确率较最强基线提升约 11%,并在地理迁移下保持增益,几何一致性更强。
针对现有视觉 token 压缩方法将相关性-多样性权重视为与输入无关的固定常数,研究者提出免训练的 SAVER 框架,通过 Geometric Intent Prior(GIP)为每个样本推断专属权重,并结合 Weighted Text Centroid(WTC)与 Visual Marginal Coverage Gain(VMCG)联合选 token。
研究者提出 RUNG,一种有序视觉编码,其前缀由字幕摘要阶梯监督、全长重建图像,将字幕生成与文生图统一为逐级细化过程。在数据与容量固定下,按语言而非重建排序使前缀-字幕信息量提升 2.9 倍,GenEval 从 0.76 升至 0.83,代价是四分之一码长处 PSNR 下降 2.8 dB、全长仅降 0.1 dB。
研究者提出 Physical Registry,在视频 DiT 内部设置随时间演化的注册表槽位,由观测条件预测初始化、与视频 token 共同演化并接受未来表征监督,使预测动态成为生成器显式可读的状态。
ReTAC 是一个免训练的多智能体框架,用于视频空间推理,主张测试时计算应当是"残差式"的:只对基座模型未解决的需求分配额外计算,并在局部失败后仅重算受影响的状态。它通过有序规划获取缺失的空间证据、用阶段对齐验证将失败定位到规划、感知或推理环节,并基于依赖关系恢复。在三个主流 MLLM 和两个基准上,ReTAC 取得对比方法中最高的综合得分。
一项研究提出用现成的双模态 CLIP 双编码器预测视觉世界实验中的注视偏好,通过对该模型施加归因方法推导目标偏好,无需生成式架构、无需微调,尽管模型并未针对该任务训练。该方法能定性复现一项经典英语视觉世界研究中人类预测性加工的注视模式。
研究者推出 ScreenASR-Bench,一个面向带视觉上下文语音识别的分层基准,包含显式文本证据(ETE)、显式视觉证据(EVE)和隐式语义证据(ISE)三个递进难度层级。
研究者提出"交互式 4D 体积液体预测"任务,即根据固体在液体中的运动方式预测未来稠密 3D 液体速度场的时空演化,并给出两级循环预测框架 TIDE/TIDES:TIDE 隔离局部界面驱动的预测,TIDES 加入传输感知耦合与显式稳定化以降低累积误差。
针对异步视频面试(AVI)中不同面试协议问题集与题目-特质映射不一致、人工评分证据无法跨协议复用的问题,研究者提出 CEPA 框架,将源协议行为记录投影到目标协议的构念导向表示空间,并检索行为相关且人格互补的人工评分样例来支撑 LLM 评分器集成,无需目标协议监督。
研究者提出"语言向量"方法,通过计算平行语料在特定层的平均激活差异,在推理时对模型隐藏状态施加偏移,无需更新参数即可提升多语言上下文学习效果。该方法在覆盖 19 种语言、3 个模型的 3 项任务上均优于英文少样本提示,且向量呈现可解释的语言结构——相近语言形成紧密聚类,跨任务和跨语言迁移效果更好。
针对熄灯工业环境中可见光缺失的问题,研究者提出音频-深度动作规划框架 ADAPT,用空间音频定位目标、深度感知障碍几何,并通过强化学习优化闭环导航。其核心贡献 TARS 在位置-朝向图上定义姿态感知的最短动作势函数,兼顾可行移动与原地旋转。
研究者推出 MasalBench,用于评估 LLM 对低资源语言波斯谚语的语境与跨文化理解。八款 SOTA 模型在上下文中识别波斯谚语准确率超 0.90,但识别对应英文谚语时最佳模型仅 0.79,暴露了文化知识与类比推理的短板。该基准已被 PlurVA-LLM 2026 研讨会接收。
研究对比六种检测器在四个家族十个 VLM 上的表现,发现只有图像 token 的 key 与语言模型文本注意力汇 key 的中心化余弦相似度能检测出视觉注意力汇,即视觉汇是 key 与文本汇 key 对齐的图像 token。
研究比较了三种文本接口设计对音视频问答提示词优化的影响:单一 OmniLLM 直接推理、captioner-reasoner 系统,以及由主智能体协调子智能体 OmniLLM 的智能体架构。基于 Qwen3-Omni 和 Gemini 的实验显示,直接提示词优化带来依赖模型的增益,而 captioner-reasoner 与智能体系统虽暴露更可解释的优化接口,却更难优化。
SEA-HELM Audio 将文本版 SEA-HELM 基准扩展到语音领域,用合成语音对比中文、英语、马来语、印尼语和泰米尔语五种语言在 ASR-LLM 级联流水线中的语音与文本输入表现。结果显示语音输入带来显著性能下降:多项选择推理准确率下降 9.00 至 18.50 个百分点,指令遵循下降 20.00 至 42.86 个百分点,泰米尔语降幅最大,超过 40 个百分点。