Know-Thy-Not:双编码器视觉语言模型的无训练定向否定
双编码器视觉语言模型在否定理解上系统性失败,对"没有狗的猫"和"有狗的猫"打分几乎相同,该问题源于单嵌入框架的固有缺陷。研究者提出无训练方法 Know-Thy-Not(KTN),在图像侧引入拒绝维度直接惩罚被否定概念,并发布首个需要真正拒绝才能通过的基准 COCO-Confusion。
双编码器视觉语言模型在否定理解上系统性失败,对"没有狗的猫"和"有狗的猫"打分几乎相同,该问题源于单嵌入框架的固有缺陷。研究者提出无训练方法 Know-Thy-Not(KTN),在图像侧引入拒绝维度直接惩罚被否定概念,并发布首个需要真正拒绝才能通过的基准 COCO-Confusion。
研究者提出视觉 token 压缩框架 ReConV,用紧凑的 Summary Bank(SMB)汇总完整视觉序列,并依据重建残差保留 SMB 未能充分捕捉的 token,每个压缩层由轻量位置条件解码器重建当前 token。在 ImageNet 上,ReConV 以少 48% GMACs 超过未压缩基线,并支持可复用的图像级表示以加速多轮推理。代码已发布于 TokenDrop。
研究团队提出 SonicWorld,将物理、学习到的声学与语义特征整合为持久声源状态,并投影到 Omni LLM 进行空间推理。配套发布 Sonic-Bench,含 2.8K 一阶 Ambisonics 片段与 28.8K 目标问答对,覆盖 480 个模拟室内场景。
SMILE 通过离线记录目标 VLM 自身的预测错误构建模型专属的 hard negatives 池,测试时以预测结果作为方向信号,在语义嵌入空间中找出当前查询最可能重犯的过往错误,无需属性提取、caption 工程等多阶段流程。
研究提出在下载视频前用 LLM 基于元数据预筛候选视频,以降低存储、时间和标注成本。LLM 预筛以四名独立标注者的严格多数投票为基准,并用 Gwet's AC1 验证标注可靠性,同时与两种关键词启发式基线对比。团队通过 LOO 与 AORI 机制评估 LLM 作为虚拟标注者的表现,并报告了相对现有方法的成本对比,实现已在 GitHub 开源。
InfoVis 是一个统一的 9B 幻灯片生成与编辑模型,基于 FLUX.2-klein-base-9B 做幻灯片专项后训练,在 VisSlideBench 上以 7.94 总分领先所有参评开源模型,接近 Nano-Banana-2 的 7.99。
VAttnPO 用答案条件下的视觉注意力细化 token 级信用,同时保留验证器给出的轨迹平均优势,在视觉注意力空间以 Jensen-Shannon 散度衡量新旧策略一致性。
REEL 是一个通用视觉记忆规划器,通过统一工具接口学习检索参考、生成缺失视觉证据并更新持久记忆,配合后端专用适配器可将同一策略用于不同黑盒视频生成器。训练分三阶段:监督微调、单镜头 GRPO 和多镜头 GRPO,后者跨连续镜头传递策略生成的记忆。
针对现有视觉语言模型对抗图像"提示词无关"、会无差别拒绝所有提问的问题,研究者提出 ProAda 对抗图像,通过迭代更新文本提示词并配合分类器判断其危害性,以更精准地优化对抗方向。在视觉隐私相关数据集上,ProAda 能拒绝超过 90% 的有害提示词,同时放行超过 90% 的合法提示词,整体表现优于现有提示词无关方法,并具备有竞争力的跨模型迁移性和更强的抗反制鲁棒性。
研究者提出统一多模态信号协调框架 UMSH,将不同受试者与来源的异构 EEG 和 iEEG 记录整合进同一癫痫发作分类流程,并用基于 cGAN 的数据增强缓解类别极度不平衡。该框架以 EEGNet-ViT 作为特征提取与分类网络,同时学习局部判别模式与全局上下文信息,实验验证了其在鲁棒癫痫分类上的有效性。
研究者提出无参考评估器 VisExMEM,将图像描述拆解为原子断言、定位视觉证据并逐条验证,再平均为全局分数。基于 Qwen3.5 训练的 4B 和 9B 模型在八个基准上,VisExMEM-9B 的描述性综合分超过 VQAScore 11.7 分,与 GPT-5.6 Sol 保持竞争力。团队同时发布含 600 个人工标注图文对和 8.7K 原子断言的 AGITA-Bench。
WorldRoPE 是一种面向多视图注意力的概率式世界中心 RoPE,将每个 patch token 反投影为共享世界坐标系下的一组体积高斯原语,以联合建模深度假设、深度不确定性与 patch 视锥的空间范围。
BAT3R 是一个免训练的贝叶斯自适应框架,通过状态创新门控(SIG)和贝叶斯引导自适应状态更新(BASU)两个模块,缓解流式 3D 重建在长序列中的误差累积。
FlexLMV-Net 是一个乳腺级别的纵向多视角框架,可联合建模 CC 与 MLO 视角并显式对齐纵向特征图,支持可变数量的历史筛查检查。在 EMBED 和 CSAW-CC 数据集上,该模型在乳腺密度、癌症亚型及人口统计亚组上均优于现有方法。研究同时开源了统一单/多时间点风险预测模型预处理、训练、推理与评估协议的基准。
EventLens 是一个以视觉为中心的强化学习框架,通过事件结构恢复来训练视频理解,涵盖事件分割、进程判别和多事件关系推理三类可验证任务,并可用确定性奖励进行 GRPO 训练。在 Qwen3-VL 骨干上,该方法在时间定位与事件敏感推理基准上取得一致提升,同时保持通用视频问答性能。研究还提出多教师在线策略蒸馏(MT-OPD)将多个专用策略整合为统一模型,训练成本显著低于直接混合 RL 优化。
Unravel 是一个免训练框架,能把单张图像转成每个物体都可独立移动的交互式 3D 场景。它先用视觉语言模型规划可见物体、由图像编辑器逐层移除并修复遮挡区域,再按移除的逆序重建场景,并以点云作为空间关系恢复的主要模态。在多种室内场景实验中,Unravel 比现有方法恢复出更多物体、摆放更忠实,场景物理合理性也更高。
研究发现 Omni-modal LLM 常无法表达其已正确感知的非文本模态信息,作者称之为"knows-but-cannot-say",并提出 Token-level Modality Alignment(TMA)度量模态表示与回复表示的对齐程度。
Gen Through the Lens 是一个相机可控的图像到视频生成框架,通过跨坐标系条件融合,将相机坐标(内参)、世界坐标(空间几何提示)和物体坐标(目标主体的 3D 边界框)三类异构控制信号统一起来,实现对相机运动、对焦和构图的精确控制,同时保持时空一致性。实验表明,该方法在多种相机操作下均能生成可控且视觉一致的结果,在真实感和可编辑性上优于现有方法。
研究将冻结的 V-JEPA2 特征迁移至 RGB 视频、深度视频与雷达时间序列等异构传感器,用带模态查询、固定传感器槽位和显式可用性标记的共享融合模型,从全部七种非空传感器子集识别呼吸活动与姿态。
针对现有多模态大模型快慢推理只调控文本推理长度、忽视视觉计算的问题,研究者提出统一推理框架 L2T,将工具产生的视觉状态离散化为视觉 token,使视觉感知与文本推理进入同一自回归空间。L2T 引入模态感知路由奖励选择推理模式,并用难度感知快慢策略按任务复杂度调整推理深度。在通用感知与推理密集任务上,L2T 相比显式工具调用方法保持有竞争力性能,吞吐量提升 1.7–3.6 倍。
研究提出 HiCAD 两阶段框架,直接将手绘草图和文本描述等多层级人类意图映射为可执行的参数化 CAD 代码,无需预先存在目标 CAD 模型。该框架通过协同多任务对齐弥合异构输入的表示差距,并用空间感知强化学习保证几何与拓扑一致性,同时构建了首个对齐手绘草图、文本描述与参数化 CAD 代码的大规模数据集 HiCAD。实验表明该方法在多项任务上显著优于现有基线,论文已被 ICML 2026 接收。
Gnani-Evon-v3.3-30B-A3B 是一款面向英语及八种印度语言的长上下文混合 Mamba-Transformer MoE 推理模型,基于 NVIDIA Nemotron-3-Nano-30B-A3B 检查点,保留 52 层主干并更换词表、训练数据与后训练目标。
Siam-ALS 是一个可解释的孪生深度学习框架,联合建模同步 EEG 与眼动信号用于 ALS 早期检测,在 EEGET-ALS 数据集上以严格被试级交叉验证取得 0.988 准确率和 0.998 AUROC。
研究者提出轨迹感知对抗对齐与精炼攻击 TARA,用轨迹感知优化与对比对齐生成单一可打印对抗纹理,在 EPIC-KITCHENS-100 和 Something-Something V2 上跨视角、跨时间持续误导世界模型与视频理解模型。团队还构建了几何跟踪流水线并采集真实打印-重拍视频,形成可复现测试平台。
Co-DSL 让用户与 LLM 协同设计可复用的空间概念库,用户提供描述后由 LLM 转为初始实现,再通过示例场景观察执行行为并给出轻量反馈,由 LLM 修正概念逻辑。
研究者提出 EvolvAttack,一种针对自进化 VLM 智能体的"自进化后门"攻击:恶意载荷在初始智能体中休眠,随记忆演化逐步激活。该攻击需视觉触发器与足够演化的记忆状态同时满足,静态扫描干净记忆时攻击成功率近乎为零。在三种 VLM 主干、四种智能体流程及三类记忆演化机制下,攻击在演化前成功率仅 0.5%,100 次交互内超过 95%,且保持正常功能。
研究者提出 Prior-Fitted Scorer(PFS),用 Transformer 充当多模态对比学习的评分器,并先在由结构因果模型(SCM)先验生成的合成多模态数据上预训练,再迁移到真实数据。在四个真实数据集上,冻结的随机初始化 Transformer 评分器即可媲美强手工对比基线,而先验拟合进一步优于随机初始化;将评分器与编码器联合优化反而效果更差。
AlignAudio 是一个基于双重对齐的噪声鲁棒语音条件生成框架,通过对齐干净与含噪语音的表示保留语义线索,并在 flow matching 范式内强化生成级一致性。在语音到音频(STA)和语音转换(VC)任务上,它在干净语音下性能与基线相当,在多种噪声条件下显著优于基线。该双对齐策略适用于单流与多流语音条件,并可集成到不同的 flow matching 生成框架与后训练设置中。
研究团队发布 EarthAlign 数据集与 MeteoLIP 双编码器框架,用于学习气象与语言的对齐表示。EarthAlign 覆盖 2000-2024 年,整合 10 个专家整理的自然事件与灾害数据源及气候学常态天气样本,每个样本含时空信息和四种对齐 63 变量 ERA5 气象数据的描述风格。
NeST-Bayes 是一个神经符号框架,仅凭机器人间观测一致性即可联合推断机器人与物体假设的信任度,无需预设信任关系、声誉信息或侧信道身份信号。它通过自我中心关系图推理出瞬时信任证据分数,并用 Beta 分布信任信念的贝叶斯更新实现时序一致的信任估计。
研究提出 Scene Evolution Understanding(SEU)任务与 SceneForesee 基准,用于评估实体连续性与场景演化推理,包含 144.57K 时序对、1.05M 实体对应和 272.49K Events。
研究者提出 Elastic V-JEPA(EV-JEPA),一个模型训练一次即可在从智能眼镜到服务器的异构设备上部署,宽度可重构并原生支持跨设备切分。其核心 Transition-Aware Triplet Training(T3)每步选取窄、宽两种宽度并训练三条路径,使同一权重同时学会单设备与跨设备执行。
针对稀疏、无位姿、宽基线 RGB 全景图难以重建相机位姿与户型图的问题,研究者提出 MvFFN,联合预测粗略相机位姿、稠密全局几何与逐墙语义输出,并通过 Layout Chaining 后处理组装出共享全局坐标的多房间户型图。
GeoFix 是一个统一框架,仅用单一几何奖励即可提升 4D 生成的几何一致性与视觉质量,适用于训练和推理阶段的奖励对齐。该奖励通过校准相机视场重叠带来的偏差,衡量静态场景区域的跨视角深度一致性,避免约束外观或惩罚合理物体运动。结果显示,WorldScore 3D 一致性提升 39%,VBench Quality Score 提升 4%。
研究提出面向 GUI 智能体的潜在世界动作模型,将预测目标从全屏像素重建转为潜在空间中动作引发的未来信息,用一个大模型共享表示驱动动作选择与转移预测两个专用头,并引入动作感知对比目标缓解身份捷径问题。在离线与在线 GUI 设置中,该方法成功率相对像素空间世界模型分别最高提升 31.9% 和 40.6%,推理延迟最高降低 98.9%。
研究团队开发并评估了视觉-语言基础模型 CAPTOR,用于肿瘤胸腹盆(CAP)CT 解读,训练与测试分别使用 25,512 和 10,794 对 CT-报告数据。在分类任务上,CAPTOR 在 CAP 子集取得 AUC 0.767,优于次优模型的 0.695(p<0.001),并在四项肿瘤预后基准中三项排名第一,检索性能同样领先。团队已开源预处理、训练与推理代码及模型权重。
研究者构建了一个面向 LLM/LMM 图表分析的多面板视觉问答数据集,用合成但逼真的单面板与多面板科学图表,按四级描述模型设计从概念问答到解释性分析的 VQA 任务。测试发现,随着面板数量、图表元素数量和问题难度增加,LMM 准确率下降;分析还引入成本相对性能作为指标。问答对、随机图表生成代码及图表元素 bounding-box 元数据均已公开。
研究在固定的 3D MedVAE-影像组学模型中发现,门控系数无法反映分支对分类器输出的实际贡献:平均结构影像组学权重为 0.823,而平均有效影像组学主导度仅 0.148,两者案例级关联较弱(ρ = 0.290)。门控图像项保留的判别排序信息明显强于直接影像组学项,且由于影像组学同时生成门控,加性分支贡献不应被解读为总输入影响。该研究提示结构门控权重与决策级分支贡献应分开解释。
研究基于 KiTS23 数据集的 396 名患者,评估在四类图像模型中引入放射组学后概率预测质量的变化。在 12 组匹配对比中,AUC 和 AP 全部提升,Brier score 与 NLL 在 11 组改善,ECE 在 8 组改善;3D MedVAE 门控融合模型表现最佳。对拼接、交叉注意力和门控融合做概率平均,可在全部四类架构上同时改善区分度与校准。
SAGE 是一个面向智能眼镜的硬件感知受保护 VLM 推理框架,将原始图像与未受保护的视觉 token 留在可信设备上,并把受保护表示压缩为 256 维 INT8 数据包后再传输。