跳到正文
10月17日周六
10月16日周五
  1. arXiv cs.AI23

    Frame Evidence:多图空间推理中参考系与视觉证据的基准测试

    研究者推出 Frame Evidence 基准,包含 320 组匹配三元组和 960 道中文多选题,用于检验多图空间推理中参考系与视觉证据变化时答案是否仍正确。在 288 道留出题上,GPT three-shot 单项准确率达 50.00%,但最佳三帧组准确率仅 5/48(10.42%),由 GPT two-shot 取得。少样本提示与任务适配能提升单项准确率,却未持续改善联合正确性。

  2. arXiv cs.AI32

    MIRAGE:面向 Web 智能体的隐蔽视觉提示注入漏洞检测框架

    研究者提出 MIRAGE,一种视觉间接提示注入框架,可在仅控制广告位等受限区域的第三方威胁模型下劫持 Web 智能体的下一步动作。该方法用扩散模型生成感知上自然的对抗图像,并结合曲率感知对抗扩散引导与稀疏暗像素残差扰动优化攻击效果。在 SeeAct 和 OpenClaw 上的评测显示其攻击有效、真实且隐蔽。

  3. arXiv cs.AI30

    Moment-Video:诊断视频 MLLM 对瞬时视觉事件的时间保真度

    研究者推出 Moment-Video 基准,用于评估视频 MLLM 对瞬时视觉事件的时间保真度,包含 1,000 个人工核验的视频问答对,覆盖 7 个领域、25 个子类及四类任务。在 34 个专有与开源 MLLM 的评测中,表现最佳的 Seed-2.0-Pro 总体准确率仅 39.6%,多数开源模型低于 25%。诊断显示,即便采样帧覆盖全部标注事件区间,模型仍存在大量错误,且视频越长性能越差。

  4. arXiv cs.AI22

    CAIA:认知引导自适应模糊与信息约束对齐的神经视觉解码框架

    研究者提出 CAIA 框架,通过认知引导的自适应模糊机制与信息约束对齐方法提升 EEG 视觉解码性能。该框架在视觉侧模拟选择性注意力降低冗余,在 EEG 侧结合神经振荡先验与信息瓶颈启发的频谱稀疏正则化提升信噪比,并引入分布感知边界校准损失修正离群样本对齐偏差。实验表明 CAIA 在零样本脑到图像检索中显著超越此前方法,提升被试依赖与被试独立场景下的平均 Top-1 和 Top-5 准确率。

  5. arXiv cs.AI22

    ReText:用文本提升基于图像的行人重识别泛化能力

    ReText 通过微调 VLM 为多摄像头数据集补充文本描述,并以文本监督训练,在跨域行人重识别基准上显著超越 SOTA。该方法联合优化 Re-ID、图文匹配和文本引导的图像重建三项任务,并采用单摄像头数据训练策略,同时利用其附带的文本标注。扩展后的数据集与 VLM 权重已公开,成果被 WACV 2027 接收。

  6. arXiv cs.AI24

    VDE Bench:评估图像编辑模型修改视觉文档的能力

    VDE Bench 是一个面向中英文文档图像指令编辑的评测基准,包含 3,506 个样本,其中文本区域编辑 1,578 个、表格区域编辑 1,928 个。该基准将编辑指令与参考图像配对,并附有标注编辑区域和结构化 OCR 输出,评测协议结合区域级与整页测量,考察文本正确性、结构保真度和视觉内容保持。

  7. arXiv cs.AI18

    以影像为锚点的多组学如何整合心脏影像与转录组数据

    一篇综述提出"以影像为锚点"的视角,将超声心动图、CMR 和 CT 定义的心脏空间表型,与 bulk、单细胞和空间转录组学提供的细胞类型及位置分子信息相连接。文章定义了各模态的表示需求,比较多模态融合策略,并梳理了放射基因组学、空间对齐和基于影像的基因表达预测的整合流程及其验证要求与失效模式。

  8. arXiv cs.AI23

    揭示 Grounding IDs:外部线索如何塑造多模态绑定

    研究发现,符号、网格线等外部视觉线索能帮助大型视觉语言模型(LVLM)在物体与其文本描述之间建立更准确的连接。作者提出 Grounding IDs 概念,即外部线索结构化视觉与文本模态后在模型内部产生的潜在标识符,它能增强相关组件间的注意力,改善跨模态对齐并减少模型幻觉。

  9. arXiv cs.AI22

    UniFGVC:基于属性感知多模态检索的通用免训练少样本细粒度视觉分类

    UniFGVC 是一个免训练的少样本细粒度视觉分类框架,将分类任务重构为基于预定义类别模板的多模态检索问题。其核心 CDV-Captioner 模块借助 MLLM 生成结构化文本描述,结合链式推理与视觉参考定位相似类别的判别性视觉属性,抑制模型幻觉。在 12 个 FGVC 数据集上,该方法不仅超越现有少样本 CLIP 方法,还超过多个全监督 MLLM 方法。

  10. arXiv cs.AI33

    InkSight:教视觉语言模型读写,实现离线手写到在线手写转换

    InkSight 通过结合阅读与写作先验,将照片中的离线手写笔迹转换为可编辑的数字墨水(在线手写),无需大量配对样本即可训练。该模型首次能有效处理具有多样视觉特征和背景的任意照片手写文本,并可泛化到简单草图。在 HierText 数据集上,87% 的生成样本被视为对输入图像的有效描摹,67% 看起来像人类书写的笔迹轨迹。

  11. arXiv cs.AI28

    TOPS:基于构建 Token 最优保留集的第一性原理视觉 Token 剪枝,加速 MLLM 推理

    研究者提出免训练、模型无关的视觉 Token 剪枝模块 TOPS,从第一性原理将剪枝形式化为构建 Token 最优保留集,并归纳出任务相关性、信息覆盖与语义多样性三条原则。在 7 个 MLLM 骨干和 14 个基准上,TOPS 在多种剪枝设置下优于此前方法;在 LLaVA-NeXT 上剪除 77.8% 视觉 Token 后,7B 与 13B 模型性能分别保持 100.0% 和 100.6%。

  12. arXiv cs.CL22

    面向跨模态与跨解剖部位的放射学报告评估:更对齐的 LLM 评判模型研究

    研究系统评估了 LLM 作为放射学报告评判模型在多种成像模态和解剖部位上的表现,提出新指标 VERT,其与放射科医生判断的 Kendall 相关性较 GREEN 最高提升 26%。在现有指标中 GREEN 最稳健;对 Qwen3-30B 进行集成和轻量微调分别带来最高 9.9% 和 25% 的提升,后者延迟降低 37.2 倍。误差分析显示这些指标虽整体与专家评分相关,但易在遗漏类错误上计数失准。

  13. arXiv cs.CL22

    多模态情感识别系统:融合面部表情、肢体动作、语音与口语文本

    一个融合面部表情、语音、转录文本与肢体动作的多模态情感识别系统在52名参与者的远程用户研究中达到96.43%的准确率,显著高于任一单模态组件(p < 10⁻⁴),且各情绪状态识别率均不低于92.31%。相比之下,单模态模型在真实条件下准确率降至82.97%–87.64%,部分情绪状态识别率低至48.08%,表明基准测试的高性能难以迁移到实际使用场景。

  14. arXiv cs.AI52

    OS-Helix:在原生计算机智能体中统一 GUI 交互与代码执行

    OS-Helix 是一个端到端训练的多模态计算机使用智能体,把 GUI 操作与代码执行统一到同一个动作空间。作者通过应用与文件产物配对构建可执行 Ubuntu 状态,并用解耦的指令与评估器生成流程产出可验证任务,先以 SFT 冷启动、再在真实桌面环境中做在线 RL,并提出按动作步聚合重要性权重的 Step-balanced GSPO。

  15. arXiv cs.AI22

    SCOPED:面向统一视觉语言模型的技能解耦同策略专家蒸馏

    研究者提出 SCOPED(技能解耦同策略专家蒸馏),通过训练能力专属专家并经奖励引导反思提取显式技能,在同策略蒸馏中仅用技能监督专家、不向统一学生模型暴露技能,使其在推理时内化过程性知识。在八个多模态基准上,SCOPED 持续优于骨干模型与混合能力 RL。分析显示技能增强可提升专家轨迹一致性、对任务相关视觉证据的关注度,并更好保留统一学生模型的专项能力。代码与数据已公开。

  16. arXiv cs.AI22

    基于运动与重力感知的前馈 3D 重建框架

    研究者提出一种基于 LUPI 范式的运动与重力感知框架,训练时以残差光流和重力方向作为特权信号引导几何表征学习,推理时仅用标准视觉输入,保持前馈效率。在标准基准上,该方法在含动态物体、结构模糊和复杂相机运动的场景中提升了重建精度与鲁棒性。分析显示最优注入阶段因骨干而异:VGGT 适合中层注入,π3 更适合后期注入。

  17. arXiv cs.AI27

    NOEMA:用时间建模与多模态对齐从 fMRI 解码自然语音

    NOEMA 是一种时间卷积解码器,将连续 fMRI 测量窗口与同一刺激片段的文本、音频、语音多模态嵌入对齐,实现直接从脑活动检索语音片段。在 Cephalonauts One 和 LeBel 两个自然语音数据集上,超过 42% 的留出查询能在 2000 个候选中将正确片段检索进前 10,显著优于基线解码器,且候选池加入数千个训练中未出现的干扰项后优势依然保持。

  18. arXiv cs.AI22

    追踪委托轨迹:多模态 AI 交互中的人类监督研究

    一项 n=56 参与者、392 次视频问答试验的在线研究发现,交互后的信任强烈预测用户委托选择(OR=14.97),但信任与委托仍属不同维度,验证是主导策略且常与高信任共存。委托还随任务顺序增加(OR=1.22),表明存在自评信任无法捕捉的经验成分。研究据此提出"enacted delegation traces"框架,以非侵入方式观察人机协作中的委托行为。

  19. arXiv cs.AI31

    ELLSA 2:语音、表情与手势的全双工交互模型

    ELLSA 2 是一个端到端全双工对话模型,可同时优化语音交互与流式手势-表情生成,在模型不说话时也能持续生成非语言动作。它采用自回归分块合成器,结合预训练声学特征与对话骨干网络、语音合成器中独立的聆听和说话隐藏状态,并通过上下文语义调用与模板引导区分语义手势的触发与实现。

  20. arXiv cs.CL26

    MIXAR:将自回归像素级语言模型扩展至多语言与多文字系统

    MIXAR 是首个生成式多语言像素级语言模型,在八种高资源语言(覆盖拉丁与 CJK 文字)上预训练,参数规模扩展至 0.5B。它用基于 GRPO 的强化学习阶段替代此前像素模型不稳定的对抗训练,在多语言基准上把自由生成准确率最高提升 2.3 倍,并在判别式基准上与同类 tokenizer 模型持平。

  21. arXiv cs.AI22

    视频理解中的查询引导定位:QDETRv、TOViT 与 MATR

    该论文研究查询引导的视频定位三类任务:对象级、关系级与时刻级。对象级提出 QDETRv(Detection Transformer 的查询引导扩展,用于视频中未见对象的一次性定位)与 TOViT(少样本视频对象检测);关系级引入视频少样本指代关系;时刻级提出 MATR,用双阶段 Dynamic Time Warping 做视频到视频时刻检索,并可扩展至文本到视频检索。

  22. arXiv cs.AI20

    量子视角何时有用?多视图融合中的经典-量子互补表示

    研究提出经典-量子多视图融合框架,在保留完整经典输入的同时加入模拟量子特征,通过拼接和注意力机制组合两个视图。受控实验表明,当经典与量子表示捕捉到互补的预测关系时,融合能提升预测性能;在 Wine、Wisconsin Diagnostic Breast Cancer、三分类 Fashion-MNIST 和 Steel Plates Faults 上,平均预测性能优于经典基线。