视觉语言模型如何处理否定?研究用物体注意力对比人类注视
研究通过分析注意力模式,考察视觉语言模型(VLM)处理否定的机制,并对比人类注视与模型注意力在肯定句和否定句下的差异。结果显示模型处理否定时通常不遵循类人注意力模式,PaliGemma2-3B 在否定下会将物体注意力转向替代对象,但头级消融表明这只是副产物而非否定处理机制;LLaVA-1.5-7B 则表现出对左侧物体的空间偏好。下游任务评估显示所有模型在肯定与否定问题上均存在性能差距。
研究通过分析注意力模式,考察视觉语言模型(VLM)处理否定的机制,并对比人类注视与模型注意力在肯定句和否定句下的差异。结果显示模型处理否定时通常不遵循类人注意力模式,PaliGemma2-3B 在否定下会将物体注意力转向替代对象,但头级消融表明这只是副产物而非否定处理机制;LLaVA-1.5-7B 则表现出对左侧物体的空间偏好。下游任务评估显示所有模型在肯定与否定问题上均存在性能差距。
研究团队推出 Realtime-Bench,用于评测智能体在严格时间约束下的实时交互能力。在按实际推理延迟推进环境的 Wall Clock 设定下,最佳成功率仅 44%,最佳 Pass^3 仅 36%。研究还对比了排除推理延迟的 Paused Clock 与按生成 token 数推进模拟时间的 Token Clock,发现时间成本制约了动态环境中的表现,且提高推理投入在时间压力下效果不一。
研究者推出 MagiC 基准,用于评估大视觉语言模型是否真正进行有依据的视觉推理,而非依赖表面模式与数据集偏差。该基准包含约 5,500 条弱监督 QA 样本和 900 条人工精标样本(含答案、推理依据与边界框标注),在四个维度上评测了 15 个 7B 至 70B 参数的视觉语言模型,并引入 MagiScore 与 StepSense 新指标。
针对多模态持续指令微调中投影器与语言模型非对称适配导致的表征漂移和灾难性遗忘问题,研究者提出兼容路由 CART,为两个模块分别维护任务专属专家并通过加权混合组合,同时考虑专家相关性与跨模块兼容性来联合推断权重。CART 还引入相关性引导的专家合并机制以控制模型规模增长,实验显示其达到 SOTA 性能。
研究团队提出 OmniVerifier-C1,将传统只输出 True/False 的二值视觉验证器改为自动把复杂提示词或环境规则拆解为细粒度子问题并逐项打分的分级验证器,输出连续且可解释的评判信号。
针对多模态大模型在图文联合解读时出现的意图级风险,研究者提出 SAFE-PRO,利用结合预测熵与跨模态风险分数的 Risk-Conditioned Uncertainty(RCU)信号,判断何时提出安全澄清问题、何处应用路径优化。
CoWorld Reasoner 是一个以视频世界模型(VWM)为统一视觉推理引擎的智能体框架,通过 Video World Model-Driven Harness 以工具形式暴露多种视觉操作,并用技能引导 VLM 决定是否想象、选择操作、构造生成请求并解读视觉证据。
论文提出 CIM-Embed 框架,通过监督对比学习让模型将图像、文本与指令直接映射为嵌入向量,再由 HDBSCAN 在无需真实簇数的情况下完成聚类划分。
Intern-Decision 是一组 0.8B、2B、4B 多模态决策模型,可从文本和可选图像输出结构化选项及候选概率,其自回归掩码语言建模目标在每个字段放置一个决策占位符,全部字段在单次因果前向传播中完成评估。
这篇综述首次系统梳理了强化学习驱动的扩散模型(RL-driven DMs),探讨 RL 如何将扩散过程重塑为以经验为中心、目标导向的生成方式,覆盖语言、多模态、机器人和科学模型。作者在多个任务基准上评估了代表性方法,并指出奖励设计脆弱、高维生成空间中的探索-利用权衡、稀疏奖励下训练不稳定三大落地瓶颈。论文已被 TPAMI 接收,并构建了公开仓库持续追踪该领域进展。
研究指出,机器遗忘评估仅衡量指定基准分布上的行为遗忘,不足以代表隐私保护效果。跨语言查询案例显示,多个多语言模型家族在查询语义等价但语言和文字不同的信息时,遗忘程度差异显著。单一访问路径即可暴露行为遗忘与信息不可获取之间的真实差距,需将访问路径泛化与对抗性可恢复性纳入评估。
ISW-Agent 将 LLM 对话解析与 n8n 工作流及独立科学模型结合,用于内孤立波遥感图像处理。在每后端 120 条中文指令测试中,GPT-5.6 Sol 和 DeepSeek 均达到 94.2% 的严格任务匹配率;50 个计时场景中 39 个完成检测、提取与预测,中位耗时 48.04 秒。3,408 次故障注入测试中,重试恢复 234 个瞬时故障,输出验证拒绝 234 个结构缺陷。
针对多模态 RLVR 中组相对策略优化把序列级优势广播到每个 token、且自蒸馏信号无法区分图像依据与语言捷径的问题,研究者提出 PACE,通过四种教师视角下的成对 token 对比判断 token 支持是否依赖图像,并用自适应轨迹置信度调节信用重分配幅度。PACE 在三个骨干模型上取得最佳平均准确率,并在 Qwen3-VL-8B-Instruct 上于所有评测的多模态推理基准排名第一。
研究者提出 TITAN 机制框架,结合因果干预、稀疏特征分解与定向偏好优化,识别并优化 Transformer 中关键的翻译电路,仅更新不到 5% 的模型参数。
FaShift 提出因子级分布偏移处理框架,通过分解多模态表征并评估各因子的分布变化、干预效应与跨环境稳定性,将潜在因子区分为非预测性、稳定预测性和预测有用但不稳定三类,分别进行抑制、保留或衰减处理,而非统一强制不变性。
DocPilot 是一个支持表达性编排的智能体文档框架,通过页面级导航与细粒度证据定位,结合局部视觉检查、代码数值推理和跨模态推理,并借助课程式智能体训练将能力迁移至小模型。在 MMLongBench-Doc、DocBench、FinRAGBench-V 和 MADQA 上,DocPilot 搭配前沿 VLM 取得显著提升,DocPilot-4B 性能可媲美更大模型,代码已开源。
Mallea 是一个从文本构建、操控和记忆世界的系统,由编码智能体从提示词推断物体交互需求,并联合规划物体结构、属性与规则。世界按规划规则演化,用户操作可实时操控,文本请求可编辑属性或扩展能力且保留未受影响的状态。物体纹理记忆仅对白盒定义的物体保留可复用外观,并随物体变化自适应,程序推进世界状态,生成式渲染器结合当前结构与记忆外观输出画面。
研究者从 2022 年前的 arXiv LaTeX 源码中选取人类撰写的证明与散文段落,用 15 个现代 LLM 在同一论文语境下重新生成,构建了 LaTeX 源码、PDF 渲染图像和 PDF 提取文本三种表示形式的配对数据。
研究者提出 Modality Self-Play(MSP),一种基于代理中介模态组合的多模态基础模型训练框架,无需真实配对跨模态数据即可实现零样本模态组合。MSP 利用锚定模态的代理文本描述作为语义桥梁,让模型在推理时整合并推理多种模态,在多个多模态基准上达到 SOTA 或具竞争力表现。消融实验显示,学习到的桥梁改善对齐,代理描述支持有效的跨模态组合。
研究者提出 Temporal Specification Guidance(TSG),一种免训练的推理时框架,将时序逻辑规范转化为可执行目标来引导视频生成采样。该框架用可微定量语义对视觉概念证据轨迹打分,并以梯度构建规范引导的去噪方向,增强 CFG。在覆盖 11 类时序约束的 220 条提示词基准上,该方法在五个模型上将规范满足准确率较 CFG 提升 9.5-20 个百分点,且内存开销极小。
研究者提出 EvolvingBrain,用自适应技能系统驱动多模态智能体在开放世界中自进化,包含分层技能自进化与状态感知自适应执行两部分。前者从模型轨迹中提取过程模式与问题模式,生成技能并形成由 Domain、Plan、Action/Trap 技能组成的分层技能架构;后者将长程交互总结为结构化摘要记忆,指导状态感知技能融合策略。
研究者提出反事实邻域风险场(CNRF),一种面向视觉语言模型的选择性安全框架,通过构建上下文匹配的良性-有害反事实对,将其表征差异作为风险方向,并将邻域支持度与风险分开估计,避免把陌生输入误判为有害。在三种 VLM 和五个多模态越狱家族上,CNRF 取得 86.06-89.30% 的宏平均防御成功率,同时保留可观的良性任务效用。
MeddeX 将 QLoRA 微调的 LLaMA-3(8B)与 RAG 及多模态 Gemini Vision 层结合,为医学报告生成有证据支撑的摘要,支持文本 PDF、扫描件和放射影像。
研究者提出一种去中心化市场框架,让自利智能体通过顺序拍卖协作求解多步任务。研究对比 Mirror Descent、Thompson Sampling、Bayes-Optimal 和 PPO 四种竞价算法在 1st-Price。
研究用重复博弈模型分析委托治理中的规模-问责权衡:选区越大成本分摊收益越高,但中心保留单个成员的价值随规模下降,个体退出只能支撑到内生的可问责选区规模,且完全委托的可问责治理在部分参数区间必然是多中心的。
谷歌正式面向全球开发者、企业及付费订阅用户陆续开放 Gemini 4 Argon,定位为加强编程、专业知识工作和复杂任务持续执行能力,并进一步推进视觉理解、空间推理和工具调用。
优必选 Thinker-WM 在 WorldOlympiad、EWMBench、WorldArena1.0 Track-1 三大具身世界模型基准评测中全部拿下第一,WorldOlympiad 综合得分 0.740,EWMBench 总分 4.66,超过 Qwen-RobotWorld、Sora2 等模型。
SkyProduction 天工工作台推出「剧本拉片」功能,上传原创或已授权视频后,AI 自动拆解分场景、台词、人物和情节结构,输出标准剧本与带时间戳剧本两种结果。该功能提供 SkyScript Pro 和 SkyScript 两档视频理解模型,前者适合人物多、场景复杂、对白密集的深度拆解,后者轻量高效、成本更低,适合批量素材快速整理。
开源项目 Interactive LLM Powered NPCs 让玩家用麦克风与任意游戏 NPC 实时对话,无需修改游戏源码或制作 mod,而是直接替换游戏生成的面部像素来嵌入动画。
Liquid AI 发布决策模型 d1-ultra,可读取文本、图像或两者,对有界问题按概率作答,单次前向传播输出 0 个 token,现已在 Liquid API 上线,输入价格 $0.042/1M tokens。
可灵 Kling 4.0 与 Kling 4.0 Flash 即将登陆 Runware,单次请求即可实现 30 秒输出、10 个关键帧、15 个参考,并支持 4K 加立体声音频。
OmniHuman 升级至 2.0 版本,可通过音频和人物形象生成说话视频,并能理解音频的情绪与语气。单次连续生成时长从 60 秒提升至 5 分钟,单秒成本从 $0.12 降至 $0.07。
Meta Superintelligence Labs 发布 Muse Spark 模型的开源权重版本 Muse Spark Open,为 816B 总参数、每 token 激活 42B 的多模态 MoE 模型,支持文本、图像、视频和音频输入,上下文窗口 1M token,权重以 BF16 和 NVFP4 格式在 Hugging Face 发布。
蚂蚁联合清华开源 Realtime-Venus,定位为 OpenAI Realtime API 的替代方案,面向智能硬件与车载场景。该系统采用双循环架构,由两个 9B 模型与 Harness 构成,前台用 Realtime-Venus-Omni 进行音视频感知,实现全双工语音交互,并支持后台复杂 Agent 任务异步执行。
Tripo 转发用户 @LidaMidorin 的开源 AI 智能体工作流,用于 VTuber 3D 角色制作,并发布引导 3D 角色建模的完整技能库。
SAM 3 可将图像中的像素位置转换为机器人可用的三维坐标:由 SAM 3 定位物体,深度信息把图像位置转成以米为单位的三维位置,再由计算工具处理向量与旋转数学。
Hao AI Lab 演示了一条把像素转成机器人可用坐标的流程:SAM 3 负责定位物体,深度信息把图像位置换算成以米为单位的 3D 位置,再由一个计算工具处理向量与旋转数学。
Moondream 3 Preview 和 Moondream 3.1 已在 OpenRouter 上线,由 PrimeIntellect 提供服务。用户可在普通聊天中直接使用目标检测与指向功能:附上一张图片,并以 /detect {"object":"coffee cup"} 或 /point {"object":"croissant"} 开头发送消息即可。
OpenRouter 上架 moondream3.1-9b-a2b 视觉语言模型,采用 9B 总参数、2B 激活的 MoE 架构,支持图像加文本输入、32K 上下文和可选推理。该模型可通过 /caption {"length":"normal"} 生成图像描述,定价为输入 $0.30/M、输出 $2.50/M tokens。
Meta 于当地时间 10 月 15 日发布开放权重 AI 模型 Muse Spark Open,官方宣称其为迄今能力最强的美国开放权重模型。该模型采用原生多模态架构,总参数量 816B(激活参数 42B),支持 1M token 上下文窗口,专为代码构建与智能体协作设计。