跳到正文
10月16日周五
  1. arXiv cs.CL22

    视觉语言模型如何处理否定?研究用物体注意力对比人类注视

    研究通过分析注意力模式,考察视觉语言模型(VLM)处理否定的机制,并对比人类注视与模型注意力在肯定句和否定句下的差异。结果显示模型处理否定时通常不遵循类人注意力模式,PaliGemma2-3B 在否定下会将物体注意力转向替代对象,但头级消融表明这只是副产物而非否定处理机制;LLaVA-1.5-7B 则表现出对左侧物体的空间偏好。下游任务评估显示所有模型在肯定与否定问题上均存在性能差距。

  2. arXiv cs.AI32

    Realtime-Bench:前沿模型能否解决实时交互问题?

    研究团队推出 Realtime-Bench,用于评测智能体在严格时间约束下的实时交互能力。在按实际推理延迟推进环境的 Wall Clock 设定下,最佳成功率仅 44%,最佳 Pass^3 仅 36%。研究还对比了排除推理延迟的 Paused Clock 与按生成 token 数推进模拟时间的 Token Clock,发现时间成本制约了动态环境中的表现,且提高推理投入在时间压力下效果不一。

  3. arXiv cs.CL29

    MagiC:评估多模态认知的视觉推理基准

    研究者推出 MagiC 基准,用于评估大视觉语言模型是否真正进行有依据的视觉推理,而非依赖表面模式与数据集偏差。该基准包含约 5,500 条弱监督 QA 样本和 900 条人工精标样本(含答案、推理依据与边界框标注),在四个维度上评测了 15 个 7B 至 70B 参数的视觉语言模型,并引入 MagiScore 与 StepSense 新指标。

  4. arXiv cs.AI22

    CART:面向多模态持续指令微调的兼容路由方法

    针对多模态持续指令微调中投影器与语言模型非对称适配导致的表征漂移和灾难性遗忘问题,研究者提出兼容路由 CART,为两个模块分别维护任务专属专家并通过加权混合组合,同时考虑专家相关性与跨模块兼容性来联合推断权重。CART 还引入相关性引导的专家合并机制以控制模型规模增长,实验显示其达到 SOTA 性能。

  5. arXiv cs.AI24

    强化学习驱动的扩散模型:语言、视觉及更多领域的综述

    这篇综述首次系统梳理了强化学习驱动的扩散模型(RL-driven DMs),探讨 RL 如何将扩散过程重塑为以经验为中心、目标导向的生成方式,覆盖语言、多模态、机器人和科学模型。作者在多个任务基准上评估了代表性方法,并指出奖励设计脆弱、高维生成空间中的探索-利用权衡、稀疏奖励下训练不稳定三大落地瓶颈。论文已被 TPAMI 接收,并构建了公开仓库持续追踪该领域进展。

  6. arXiv cs.CL26

    行为遗忘不等于隐私:机器遗忘评估的跨语言漏洞

    研究指出,机器遗忘评估仅衡量指定基准分布上的行为遗忘,不足以代表隐私保护效果。跨语言查询案例显示,多个多语言模型家族在查询语义等价但语言和文字不同的信息时,遗忘程度差异显著。单一访问路径即可暴露行为遗忘与信息不可获取之间的真实差距,需将访问路径泛化与对抗性可恢复性纳入评估。

  7. arXiv cs.AI22

    ISW-Agent:LLM 对话驱动 n8n 工作流处理内孤立波遥感图像

    ISW-Agent 将 LLM 对话解析与 n8n 工作流及独立科学模型结合,用于内孤立波遥感图像处理。在每后端 120 条中文指令测试中,GPT-5.6 Sol 和 DeepSeek 均达到 94.2% 的严格任务匹配率;50 个计时场景中 39 个完成检测、提取与预测,中位耗时 48.04 秒。3,408 次故障注入测试中,重试恢复 234 个瞬时故障,输出验证拒绝 234 个结构缺陷。

  8. arXiv cs.CL22

    PACE:用成对 token 对比与自适应轨迹置信度增强多模态 RLVR

    针对多模态 RLVR 中组相对策略优化把序列级优势广播到每个 token、且自蒸馏信号无法区分图像依据与语言捷径的问题,研究者提出 PACE,通过四种教师视角下的成对 token 对比判断 token 支持是否依赖图像,并用自适应轨迹置信度调节信用重分配幅度。PACE 在三个骨干模型上取得最佳平均准确率,并在 Qwen3-VL-8B-Instruct 上于所有评测的多模态推理基准排名第一。

  9. arXiv cs.AI28

    DocPilot:面向长视觉文档理解的交互式智能体编排与训练

    DocPilot 是一个支持表达性编排的智能体文档框架,通过页面级导航与细粒度证据定位,结合局部视觉检查、代码数值推理和跨模态推理,并借助课程式智能体训练将能力迁移至小模型。在 MMLongBench-Doc、DocBench、FinRAGBench-V 和 MADQA 上,DocPilot 搭配前沿 VLM 取得显著提升,DocPilot-4B 性能可媲美更大模型,代码已开源。

  10. arXiv cs.AI30

    Mallea:用编码智能体构建、操控与记忆世界

    Mallea 是一个从文本构建、操控和记忆世界的系统,由编码智能体从提示词推断物体交互需求,并联合规划物体结构、属性与规则。世界按规划规则演化,用户操作可实时操控,文本请求可编辑属性或扩展能力且保留未受影响的状态。物体纹理记忆仅对白盒定义的物体保留可复用外观,并随物体变化自适应,程序推进世界状态,生成式渲染器结合当前结构与记忆外观输出画面。

  11. arXiv cs.AI34

    MSP:无需配对跨模态数据训练多模态 LLM 的模态自博弈框架

    研究者提出 Modality Self-Play(MSP),一种基于代理中介模态组合的多模态基础模型训练框架,无需真实配对跨模态数据即可实现零样本模态组合。MSP 利用锚定模态的代理文本描述作为语义桥梁,让模型在推理时整合并推理多种模态,在多个多模态基准上达到 SOTA 或具竞争力表现。消融实验显示,学习到的桥梁改善对齐,代理描述支持有效的跨模态组合。

  12. arXiv cs.AI27

    用时序逻辑规范引导文本到视频生成:TSG 框架提升时序约束满足度

    研究者提出 Temporal Specification Guidance(TSG),一种免训练的推理时框架,将时序逻辑规范转化为可执行目标来引导视频生成采样。该框架用可微定量语义对视觉概念证据轨迹打分,并以梯度构建规范引导的去噪方向,增强 CFG。在覆盖 11 类时序约束的 220 条提示词基准上,该方法在五个模型上将规范满足准确率较 CFG 提升 9.5-20 个百分点,且内存开销极小。

  13. arXiv cs.AI26

    EvolvingBrain:面向开放世界多模态智能体自进化的自适应技能系统

    研究者提出 EvolvingBrain,用自适应技能系统驱动多模态智能体在开放世界中自进化,包含分层技能自进化与状态感知自适应执行两部分。前者从模型轨迹中提取过程模式与问题模式,生成技能并形成由 Domain、Plan、Action/Trap 技能组成的分层技能架构;后者将长程交互总结为结构化摘要记忆,指导状态感知技能融合策略。

  14. arXiv cs.AI26

    反事实邻域风险场 CNRF:面向视觉语言模型的证据驱动选择性安全

    研究者提出反事实邻域风险场(CNRF),一种面向视觉语言模型的选择性安全框架,通过构建上下文匹配的良性-有害反事实对,将其表征差异作为风险方向,并将邻域支持度与风险分开估计,避免把陌生输入误判为有害。在三种 VLM 和五个多模态越狱家族上,CNRF 取得 86.06-89.30% 的宏平均防御成功率,同时保留可观的良性任务效用。

  15. RadarAI41

    SkyProduction 天工工作台上线「剧本拉片」,2 小时视频可自动拆解为剧本

    SkyProduction 天工工作台推出「剧本拉片」功能,上传原创或已授权视频后,AI 自动拆解分场景、台词、人物和情节结构,输出标准剧本与带时间戳剧本两种结果。该功能提供 SkyScript Pro 和 SkyScript 两档视频理解模型,前者适合人物多、场景复杂、对白密集的深度拆解,后者轻量高效、成本更低,适合批量素材快速整理。

  16. RadarAI82

    Meta 发布 Muse Spark Open:816B 开源权重 MoE 模型,支持 1M 上下文

    Meta Superintelligence Labs 发布 Muse Spark 模型的开源权重版本 Muse Spark Open,为 816B 总参数、每 token 激活 42B 的多模态 MoE 模型,支持文本、图像、视频和音频输入,上下文窗口 1M token,权重以 BF16 和 NVFP4 格式在 Hugging Face 发布。

    同一新闻,精选展示《Meta 开源 Muse Spark Open:816B 总参数、42B 激活的编码与智能体模型》

  17. RadarAI78

    Meta 发布开放权重模型 Muse Spark Open,总参数量 816B、支持 1M token 上下文

    Meta 于当地时间 10 月 15 日发布开放权重 AI 模型 Muse Spark Open,官方宣称其为迄今能力最强的美国开放权重模型。该模型采用原生多模态架构,总参数量 816B(激活参数 42B),支持 1M token 上下文窗口,专为代码构建与智能体协作设计。

    同一新闻,精选展示《Meta 开源 Muse Spark Open:816B 总参数、42B 激活的编码与智能体模型》