跳到正文
10月16日周五
  1. arXiv cs.AI22

    UniFGVC:基于属性感知多模态检索的通用免训练少样本细粒度视觉分类

    UniFGVC 是一个免训练的少样本细粒度视觉分类框架,将分类任务重构为基于预定义类别模板的多模态检索问题。其核心 CDV-Captioner 模块借助 MLLM 生成结构化文本描述,结合链式推理与视觉参考定位相似类别的判别性视觉属性,抑制模型幻觉。在 12 个 FGVC 数据集上,该方法不仅超越现有少样本 CLIP 方法,还超过多个全监督 MLLM 方法。

  2. arXiv cs.AI33

    InkSight:教视觉语言模型读写,实现离线手写到在线手写转换

    InkSight 通过结合阅读与写作先验,将照片中的离线手写笔迹转换为可编辑的数字墨水(在线手写),无需大量配对样本即可训练。该模型首次能有效处理具有多样视觉特征和背景的任意照片手写文本,并可泛化到简单草图。在 HierText 数据集上,87% 的生成样本被视为对输入图像的有效描摹,67% 看起来像人类书写的笔迹轨迹。

  3. arXiv cs.AI28

    TOPS:基于构建 Token 最优保留集的第一性原理视觉 Token 剪枝,加速 MLLM 推理

    研究者提出免训练、模型无关的视觉 Token 剪枝模块 TOPS,从第一性原理将剪枝形式化为构建 Token 最优保留集,并归纳出任务相关性、信息覆盖与语义多样性三条原则。在 7 个 MLLM 骨干和 14 个基准上,TOPS 在多种剪枝设置下优于此前方法;在 LLaVA-NeXT 上剪除 77.8% 视觉 Token 后,7B 与 13B 模型性能分别保持 100.0% 和 100.6%。

  4. arXiv cs.CL22

    面向跨模态与跨解剖部位的放射学报告评估:更对齐的 LLM 评判模型研究

    研究系统评估了 LLM 作为放射学报告评判模型在多种成像模态和解剖部位上的表现,提出新指标 VERT,其与放射科医生判断的 Kendall 相关性较 GREEN 最高提升 26%。在现有指标中 GREEN 最稳健;对 Qwen3-30B 进行集成和轻量微调分别带来最高 9.9% 和 25% 的提升,后者延迟降低 37.2 倍。误差分析显示这些指标虽整体与专家评分相关,但易在遗漏类错误上计数失准。

  5. arXiv cs.CL22

    多模态情感识别系统:融合面部表情、肢体动作、语音与口语文本

    一个融合面部表情、语音、转录文本与肢体动作的多模态情感识别系统在52名参与者的远程用户研究中达到96.43%的准确率,显著高于任一单模态组件(p < 10⁻⁴),且各情绪状态识别率均不低于92.31%。相比之下,单模态模型在真实条件下准确率降至82.97%–87.64%,部分情绪状态识别率低至48.08%,表明基准测试的高性能难以迁移到实际使用场景。

  6. arXiv cs.AI52

    OS-Helix:在原生计算机智能体中统一 GUI 交互与代码执行

    OS-Helix 是一个端到端训练的多模态计算机使用智能体,把 GUI 操作与代码执行统一到同一个动作空间。作者通过应用与文件产物配对构建可执行 Ubuntu 状态,并用解耦的指令与评估器生成流程产出可验证任务,先以 SFT 冷启动、再在真实桌面环境中做在线 RL,并提出按动作步聚合重要性权重的 Step-balanced GSPO。

  7. arXiv cs.AI22

    SCOPED:面向统一视觉语言模型的技能解耦同策略专家蒸馏

    研究者提出 SCOPED(技能解耦同策略专家蒸馏),通过训练能力专属专家并经奖励引导反思提取显式技能,在同策略蒸馏中仅用技能监督专家、不向统一学生模型暴露技能,使其在推理时内化过程性知识。在八个多模态基准上,SCOPED 持续优于骨干模型与混合能力 RL。分析显示技能增强可提升专家轨迹一致性、对任务相关视觉证据的关注度,并更好保留统一学生模型的专项能力。代码与数据已公开。

  8. arXiv cs.AI22

    基于运动与重力感知的前馈 3D 重建框架

    研究者提出一种基于 LUPI 范式的运动与重力感知框架,训练时以残差光流和重力方向作为特权信号引导几何表征学习,推理时仅用标准视觉输入,保持前馈效率。在标准基准上,该方法在含动态物体、结构模糊和复杂相机运动的场景中提升了重建精度与鲁棒性。分析显示最优注入阶段因骨干而异:VGGT 适合中层注入,π3 更适合后期注入。

  9. arXiv cs.AI27

    NOEMA:用时间建模与多模态对齐从 fMRI 解码自然语音

    NOEMA 是一种时间卷积解码器,将连续 fMRI 测量窗口与同一刺激片段的文本、音频、语音多模态嵌入对齐,实现直接从脑活动检索语音片段。在 Cephalonauts One 和 LeBel 两个自然语音数据集上,超过 42% 的留出查询能在 2000 个候选中将正确片段检索进前 10,显著优于基线解码器,且候选池加入数千个训练中未出现的干扰项后优势依然保持。

  10. arXiv cs.AI22

    追踪委托轨迹:多模态 AI 交互中的人类监督研究

    一项 n=56 参与者、392 次视频问答试验的在线研究发现,交互后的信任强烈预测用户委托选择(OR=14.97),但信任与委托仍属不同维度,验证是主导策略且常与高信任共存。委托还随任务顺序增加(OR=1.22),表明存在自评信任无法捕捉的经验成分。研究据此提出"enacted delegation traces"框架,以非侵入方式观察人机协作中的委托行为。

  11. arXiv cs.AI31

    ELLSA 2:语音、表情与手势的全双工交互模型

    ELLSA 2 是一个端到端全双工对话模型,可同时优化语音交互与流式手势-表情生成,在模型不说话时也能持续生成非语言动作。它采用自回归分块合成器,结合预训练声学特征与对话骨干网络、语音合成器中独立的聆听和说话隐藏状态,并通过上下文语义调用与模板引导区分语义手势的触发与实现。

  12. arXiv cs.CL26

    MIXAR:将自回归像素级语言模型扩展至多语言与多文字系统

    MIXAR 是首个生成式多语言像素级语言模型,在八种高资源语言(覆盖拉丁与 CJK 文字)上预训练,参数规模扩展至 0.5B。它用基于 GRPO 的强化学习阶段替代此前像素模型不稳定的对抗训练,在多语言基准上把自由生成准确率最高提升 2.3 倍,并在判别式基准上与同类 tokenizer 模型持平。

  13. arXiv cs.AI22

    视频理解中的查询引导定位:QDETRv、TOViT 与 MATR

    该论文研究查询引导的视频定位三类任务:对象级、关系级与时刻级。对象级提出 QDETRv(Detection Transformer 的查询引导扩展,用于视频中未见对象的一次性定位)与 TOViT(少样本视频对象检测);关系级引入视频少样本指代关系;时刻级提出 MATR,用双阶段 Dynamic Time Warping 做视频到视频时刻检索,并可扩展至文本到视频检索。

  14. arXiv cs.AI20

    量子视角何时有用?多视图融合中的经典-量子互补表示

    研究提出经典-量子多视图融合框架,在保留完整经典输入的同时加入模拟量子特征,通过拼接和注意力机制组合两个视图。受控实验表明,当经典与量子表示捕捉到互补的预测关系时,融合能提升预测性能;在 Wine、Wisconsin Diagnostic Breast Cancer、三分类 Fashion-MNIST 和 Steel Plates Faults 上,平均预测性能优于经典基线。

  15. arXiv cs.AI40

    TRACER:面向医院患者护理的多模态框架

    斯坦福团队提出免训练多模态框架 TRACER,将视频逐分钟动作记录与临床记录合并为小时级报告,并让 LLM 智能体通过工具查询该层级结构、调取相关视频与病历。在 397 段标注视频上动作检测准确率达 84.8%,144 道临床多选题 QA 准确率 61.0%,优于同骨干最强基线的 49.3%。

  16. arXiv cs.CL31

    双重视角互补表征如何提升时间序列推理能力

    基于 Qwen3-VL-8B 的双视图模型将线图与归一化延迟嵌入结合,在 TSRBench 上把整体准确率从单用线图的 44.5% 提升至 53.2%,超过最强专用 TSLM 基线的 36.7%。该模型在 TSExam 上达到 89.9% 准确率,在多变量 ChatTS 对齐上取得 86.8% 数值准确率。消融实验显示,两种视图组合在预测与推理任务上的增益尤为显著。

  17. arXiv cs.CL23

    EVA-Cap:通过事件中心对齐优化音视频字幕生成

    EVA-Cap 框架将音视频字幕分解为原子级视听事件,把非结构化文本监督转化为事件中心对齐,通过 SFT 和 GRPO 在自建数据集 EVA-Data 上训练。GRPO 阶段围绕全局事件完整性、事件内归因和事件间同步三个目标优化。在 ChronusAV 上平均提升 9.0%,WorldSense 上提升 3.3%,论文已被 NeurIPS 2026 接收。

  18. arXiv cs.AI22

    ReasonUni:推理增强重建推进统一多模态模型

    研究者提出 ReasonUni,一个推理增强的重建式后训练框架,让统一多模态模型在给定原图和编辑指令后先推理"改什么、怎么改"并描述目标状态,再据此生成目标图像。配套的 TreeGRPO 采用树状强化学习,为每条推理路径采样多个候选图像并聚合视觉奖励,统一目标下同时更新理解与生成两个模块。多个 benchmark 上理解与生成均取得一致提升。

  19. arXiv cs.AI34

    WorldCast:探索世界状态预测中的智能视觉生成

    研究者提出 WorldCast 基准,包含 8 个类别共 320 个手工设计案例,用于评估多步世界状态预测任务,并测试了 12 个代表性模型。GPT-Image-2.5 System 得分 72.8,展现出早期视觉状态预测能力;Nano Banana Pro 仅得 42.8,最佳开源模型得分 20.1。实验表明强生成模型能有效借助其底层语言模型的能力。

  20. arXiv cs.AI71

    四个 Gemini 4 Argon 智能体自主通关 Minecraft

    研究团队将四个 Gemini 4 Argon 智能体放入沙盒 Minecraft 生存世界,目标是击败末影龙。每个智能体通过开源库 Mineflayer 控制一名玩家,并用游戏内聊天和共享记忆协作,没有人为分配角色或编写游戏逻辑,程序全部由智能体自行规划、编写和调试。