跳到正文
#多模态
10月15日周四
  2. arXiv cs.AI20

    DressAgent：用视觉智能体实现逆向服装设计

    研究团队提出 DressAgent，一个基于视觉智能体的分层系统，可从单张图像重建可仿真的任意层数 3D 服装缝纫纸样。该方法基于 GarmentCode 构建了首个超 15K 套服装的多层缝纫纸样数据集，通过图层规划与 Tailor、Critic、Orchestrator 智能体闭环细化，大幅超越前馈方法，并在远少于可微优化的时间内达到或超过其效果。

  3. arXiv cs.AI22

    扩散模型自表征对齐 U-SRA 用于视频背景音乐生成

    研究者提出扩散 U-Net 自表征对齐架构 U-SRA，在训练中将高噪声条件下较早层的弱表征与低噪声条件下较后层的更优表征显式对齐，并采用对齐损失引导模型学习良好的内部表征。该方法用于视频背景音乐生成，通过交叉注意力机制同步音乐与视频片段，在基准视频-音乐数据集上的视频-音乐对齐度和整体音乐质量等关键指标上超越当前最优水平。

  4. arXiv cs.CL20

    ARP-CD：用注意力引导表征扰动缓解视频大模型幻觉

    研究者提出免训练框架 ARP-CD，通过在表征空间构造对比负样本缓解 Video LLM 的视频幻觉：利用答案预测位置上视觉 token 的注意力质量，引导语言模型输入视觉隐状态做有界梯度更新，降低视觉注意力并生成负样本，与原始分支预测对比。在四个 Video LLM 和四个基准上，ARP-CD 在多数模型—基准组合中优于代表性免训练基线，减少幻觉的同时提升通用视频理解。

  5. arXiv cs.AI22

    MemeLogos：知识驱动检索增强推理的有害模因检测框架

    MemeLogos 是一个知识驱动的检索增强推理框架，用于有害模因检测，通过将反复出现的有害模式与推理结构抽象为可复用知识单元，并组织成星形知识图谱。该框架结合结构化知识检索与受认知机制启发的显式多阶段推理过程，以检索到的知识引导有害性推理。实验表明，MemeLogos 在检测性能上持续优于现有有害模因检测方法，并生成更连贯、可解释的推理过程。

  6. arXiv cs.AI23

    基于视觉语言模型与地理空间推理的 PhotoMappers 十年众包灾害照片地理定位纵向研究

    研究利用 PhotoMappers 十余年众包灾害影像，结合街景（SVI）与遥感影像（RSI）做跨视角地理定位，并评估视觉语言模型的地理推理能力。融合 VGI、SVI、RSI 与 Sinkhorn 重排序后达到 40.90% R@1、61.10% R@5、69.45% R@10，但年度 R@1 在 25.00% 至 65.07% 间波动。

  7. arXiv cs.CL24

    ActICL：面向智能体式多模态上下文学习的后训练方法

    ActICL 通过两阶段后训练让 MLLM 智能体以工具增强推理自主获取 ICL 上下文，在七个基准和三个 MLLM 上平均性能比标准相似度检索提升 11.6 个百分点，比最强先前基线高 4.4 个百分点。其获取的上下文也可供前沿模型使用，GPT-5.6-Sol 进行 4-shot ICL 时性能比标准检索提升 3.5 个百分点。

  8. arXiv cs.CL26

    多模态智能体记忆的演进：形成、维护与学习

    一篇 arXiv 综述提出双轴分析框架，梳理多模态智能体记忆：轴一关注信息如何形成与表示（模态嵌入、文本与结构化记录、潜在与参数化表示），轴二将记忆管理分为 T1 静态记忆、T2 动态记忆和 T3 自演化记忆三层。文章据此归纳出在源保真与抽象之间平衡、维护时间有效性与来源、以可恢复证据支撑记忆使用、以及随时间演化记忆策略等设计原则，并讨论未来挑战。

  12. arXiv cs.AI22

    统一 VLM 内部机制解析：从注意力探测到 HeadTuned-CFG 引导调优

    研究通过探测注意力头发现，统一 VLM 在 T2I 与 I2T 生成中均存在对条件变化敏感与不敏感的两类注意力头，该功能分化模式跨样本稳定。基于此提出免训练推理干预方法 HeadTuned-CFG，在注意力头级别选择并调优条件引导，在两种生成方向上均取得一致收益，T2I 生成较强基线提升显著。

  13. arXiv cs.CL20

    多模态大模型空间推理的数据中心化理解综述

    一篇综述系统梳理了面向空间推理任务微调预训练多模态大语言模型（MLLMs）的方法，涵盖监督学习到强化学习，重点关注所用数据集。研究将相关工作分为数据集设计、数据集构建与评估三类，并归纳出规则模板、LLM 提示、程序化生成和人在回路四种固定空间标注构建方法。评估方面存在评分方法、容差指标和基准类型的显著差异，未来方向包括统一动态标注、高效空间推理、评估标准化、扩展空间范围与以人为中心的空间交互。

  15. arXiv cs.AI25

    GesBench：多模态语言模型何时何地感知社会含义？

    研究者提出 GesBench，一个基于人类交互的线索级社会感知基准，用累积子话语片段测量多模态 LLM 何时形成对说话人意图和社会可供性的稳定解读，并用人类注视引导的破坏评估人类关注区域对模型判断是否功能重要。该基准由 6000 多个话语级片段构建，涵盖开放式与闭源多模态模型，发现明显的人机差距：人类更早形成预测性理解且修正更频繁，模型则常在不同片段间含糊或重复。代码已公开。

  16. arXiv cs.AI32

    Marvo：通过 Margin Reward 实现自进化视觉智能体

    研究者提出 Marvo，一种从无标注图像中学习工具调用的自进化方法，由生成问答对的 challenger 和通过强化学习解题的 solver 两个智能体组成。其核心是 margin reward，即 solver 在有工具和无工具时表现之差，据此构建自适应课程以鼓励有效工具调用。在智能体推理、视觉搜索、数学及通用真实世界推理等基准上，Marvo 平均准确率最高提升 7.1%。

  18. arXiv cs.CL27

    semCER：面向 OCR 的严重度加权字符错误率

    研究提出 semCER，在保留 CER 对齐方式与分母的基础上，由 LLM 评判为每个字素编辑赋予严重度权重，且无需分词。在英语、越南语和中文中，其评分逐条编辑地贴合读者评分，并能将读者认为最严重的编辑排在排序列表前列；在 CER 与 semCER 分歧的样本对上，英语和中文读者更常支持 semCER。研究还发布了 6100 万条已评判编辑、聚合读者评分及蒸馏评分器。

  19. arXiv cs.AI22

    VC-OPD：面向视觉语言推理的视觉反事实在线策略蒸馏

    VC-OPD 是一种面向视觉语言推理的在线策略蒸馏方法，通过对比原始图像与破坏实例证据的反事实图像下教师的输出差异，估计 token 级视觉依赖并据此对损失加权，再以保质量归一化稳定更新尺度。该方法在教师监督热启动后执行在线策略蒸馏，在多模态推理基准上提升了视觉推理表现，并产生更有效的 token 级蒸馏。

  21. arXiv cs.AI26

    相机优先 AI 智能体应如何工作？arXiv 论文提出双截止时间架构

    一篇 arXiv 立场论文指出，相机优先 AI 智能体的核心障碍不是识别能力，而是时间——许多视觉目标转瞬即逝，等单体流水线完成推理时证据已消失。作者将此形式化为 Ephemeral-Target Interaction（ETI）与感知截止时间契约，区分硬性记忆截止时间与软性推理截止时间，并提出双截止时间架构：常开、有界、非语义的快路径，主动记忆机制，以及延迟审议层。

  22. arXiv cs.AI24

    CUSE：基于反事实引导与在线自蒸馏的多模态大模型细粒度遗忘框架

    CUSE 通过移除目标相关证据构建反事实输入，利用 token 概率变化定位需强化遗忘的 token，再以冻结的原始模型为教师、结合遗忘与保留两种特权上下文，对当前策略采样响应做 token 级在线自蒸馏。在 MLLMU-Bench 上，CUSE 将遗忘集 ROUGE-L 降低 33.6%，保留集 ROUGE-L 比最强基线高 1.2%。

  25. arXiv cs.AI22

    混合运动学 GCN 与弹性 Transformer 实现高效印度手语识别

    研究提出一种结构感知混合框架用于印度手语（ISL）词汇级识别，结合熵驱动 SVD 采样器提取关键帧、连续双位置编码与距离感知 Elastic Transformer，以及运动学条件自适应 GCN 建模双手几何。团队构建了 120 类、9,453 段视频的 ISL 数据集，配合 Physical Node Dropout 与 ArcFace 优化，取得 89.8% 准确率，为复杂手语建模建立强基线。

  27. arXiv cs.AI27

    SRCoD：面向多模态基准的条目级结构-响应协同校准诊断框架

    针对多模态基准中存在的捷径条目问题，研究者提出 SRCoD——一个结构-响应协同校准的诊断框架，可从基准内容与目标答案估计样本级多模态信息结构，并作为软结构锚点进行模态条件条目响应建模，输出条目级诊断画像。在基准精化验证与人工标注条目验证两种协议下，SRCoD 均优于现有基准诊断方法，该工作已被 NeurIPS 2026 接收。

  28. arXiv cs.CL24

    通过候选集视觉定位识别对话歧义：CandVG 基准与 CSVG 任务

    研究者提出候选集视觉定位（CSVG）任务，用于估计与对话上下文一致的对象集合，并推出评估候选集随对话轮次变化的 CandVG 基准。对视觉语言模型的评测显示，更强的视觉定位能力并不必然带来更好的 CSVG 表现，模型难以预测完整候选集，且在早期轮次过早锁定少量候选。针对 CSVG 设计的指令可部分缓解这一局限。

  31. arXiv cs.CL31

    原生多模态预训练中视觉内容作为可扩展锚点：arXiv 研究揭示视觉信号如何影响扩展行为

    一项 arXiv 研究通过受控视觉内容消融实验发现，在原生多模态预训练中保留视觉内容可改善图文样本的文本预测，且多模态损失收益随计算量近似呈幂律增长。视觉内容还能提升纯文本描述的空间推理能力，在定位、导航和符号规划任务上增益最持续，同时不改变最优模型规模与数据配比，也不损害纯文本损失和聚合语言分数。

  32. arXiv cs.CL27

    视觉语言模型如何像有偏的贝叶斯观察者一样整合冲突证据

    研究从贝叶斯视角提出，视觉语言模型（VLM）会将来自文本和图像的条件独立证据与先验信念结合，并受模态特定偏差影响。所构建的两参数线索组合模型能准确预测 VLM 在未见过的输入退化组合下的偏好，且无需重新拟合即可迁移到新的不可靠形式。该框架将证据强度与整合偏差分离，解释了 VLM 为何能在更重视视觉证据的同时仍跟随文本，从而在单一组合规则下统一了文本主导与视觉主导的报道。

  33. arXiv cs.CL18

    如何找到好指标：多语言风格个性化生成的指标元评估

    研究提出基于回归的指标元评估方法，在校准后的指标输出上学习预测人类评分，并以常数均值基线和人类一致性为参照衡量指标能力。团队构建了覆盖 10 种语言、4 个评价维度的大规模多语言风格个性化生成（SPTG）基准，对三类风格评估范式的 32 个指标及其集成在 40 种评估设置下进行元评估。结果显示，经人类评分校准后，简单的字符串和嵌入向量指标可媲美强 LLM-judges。

  34. arXiv cs.CL29

    DecisionRobust：跨文本与视觉的 JEV 风格决策模型鲁棒性基准

    研究者推出 DecisionRobust，一个系统评估 JEV 等决策模型在文本与视觉输入下鲁棒性的基准，涵盖语义保持文本扰动、图像扰动及两种模态的提示词注入攻击。实验评估了文本任务 30 个、视觉任务 17 个模型配置，发现攻击能暴露构建与筛选所用模型之外的漏洞，且对输入扰动的抵抗力不必然意味着能抵抗提示词注入。标签一致性检查可显著降低文本与图像场景下测得的攻击成功率。

  36. arXiv cs.CY27

    MemeTrace：基于多模态 LLM 智能体的表情包溯源与安全分析

    MemeTrace 是一个基于多模态 LLM 的智能体，可自动追溯新兴表情包的来源与潜在风险，并在 Meme100（100 个真实表情包数据集）上通过人工标注与自动指标评估，表现大幅优于 VLM 基线。它在检测不安全表情包（尤其是涉及虚假信息与敏感内容）上准确率更高，且在视觉扰动下保持稳健。