跳到正文
10月15日周四
  1. arXiv cs.AI30

    PPGFlowECG:用潜在整流流与跨模态编码实现 PPG 引导的 ECG 生成与心血管疾病检测

    PPGFlowECG 是一个两阶段框架,先用 CardioAlign Encoder 将 PPG 与 ECG 对齐到共享潜在空间,再用潜在整流流合成 ECG,论文形式化分析表明该编码器是稳定且语义一致生成的必要条件。在四个数据集上的实验显示其合成保真度与下游诊断效用均有提升,有望在无法获取标准 ECG 时支持可穿戴设备优先的心血管疾病筛查。该工作已被 IEEE ICDM 2026 接收。

  2. arXiv cs.AI22

    从视觉事件生成自然语言:现状与关键开放问题

    这篇综述提出,从图像或视频帧序列生成自然语言的任务,本质上都是对随时间展开的视觉事件与语言特征之间复杂关系建模这一更广义多模态问题的实例。作者考察了五个看似不同但同属该问题的任务,梳理了近年代表性建模与评估方法及其共同挑战,并据此提出关键开放问题与未来研究方向。

  3. arXiv cs.AI33

    多模态一定更好吗?缺失模态鲁棒性的几何视角

    多模态训练会让模型在推理时缺失某一模态的情况下反而不如单模态模型,这一现象出现在融合模型、CLIP 式双塔模型和视觉语言模型中。作者将其归因于主参数子空间中习得的跨模态依赖,并提出轻量参数编辑方法 Geodesic Unlearning(GU),沿测地线路径将主输入子空间旋转至单模态参考方向。实验显示 GU 在缺失模态推理下提升性能,同时保持全模态准确率,优于现有鲁棒性基线。

  4. arXiv cs.AI29

    视觉敏感性不等于主张可撤回:多模态强化学习中的持久性感知信用分配

    针对 RLVR 训练中视觉主张缺乏图像支撑的问题,研究者提出持久性感知信用门控(PACG),对异常持久的视觉主张衰减正向信用,无需标注且不增加推理成本。在 Qwen2.5-VL-7B 上,PACG 将九项基准三种子均值从 58.1% 提升至 59.9%(DAPO)、从 59.8% 提升至 60.9%(VPPO),并提升 HallusionBench 准确率。

  5. arXiv cs.AI35

    PhysElite:LLM 距离解决奥赛级物理题还有多远?

    研究团队发布 PhysElite,一个面向奥赛级物理推理的大规模双语多模态基准,包含 11,586 道奥赛级题目,每题配有图示、中英双语分步解答推导和最终答案。对 18 个开源与闭源 MLLM 的评测显示,最强模型答案准确率仅 33.7%,研究还通过步骤级过程评估诊断模型推理链中的失败环节。数据集已公开。

  6. arXiv cs.AI31

    阅读不等于推理:视觉-文本压缩中的智能体策略鸿沟与 CAPS 框架

    针对视觉-文本压缩导致智能体能力下降的问题,研究者提出两阶段跨模态智能体策略自蒸馏框架 CAPS,用同一模型更强的文本历史策略监督其视觉历史策略。在 SearchQA 上,CAPS 以 3B 和 7B 骨干分别比 AgentOCR 提升 5.0 和 3.4 个百分点;在完整历史 ALFWorld 上分别提升 15.6 和 14.5 个百分点。

  7. arXiv cs.AI27

    多智能体卧底游戏:用反事实测试消除多模态推理中的幻觉

    研究者提出多智能体卧底游戏(MUG)协议,借鉴"谁是卧底"社交推理游戏,通过修改参考图像引入反事实证据,检测出存在幻觉的"卧底"智能体,为识别幻觉智能体提供真值依据。MUG 从三个维度改进多智能体辩论(MAD):以反事实测试实现超越统计共识的事实核验、通过动态修改证据源引入跨证据推理、推动智能体主动探究讨论而非被动作答。该工作已被 AAAI 2026 接收,源代码已公开。

  8. arXiv cs.AI26

    GeoReader:为视觉语言模型学习空间推理的潜在几何表示

    GeoReader 框架通过训练轻量级 Geometric Readers 生成连续几何 token,让 VLM 直接读取几何信息,而非仅对齐几何特征。在 Qwen3-VL-4B 上,该方法在 MindCube-Tiny 达到 94.3;配合多源 QA 混合数据,Qwen3.5-9B 在六个额外空间基准上平均得分 72.5。推理时 VLM 直接由连续几何 token 作答,无需生成几何思维链。

  9. arXiv cs.AI22

    已知声音克隆与角色设计中人格迁移的局限

    两项研究测试了虚拟角色使用熟悉人物的克隆声音时人格印象是否会迁移,结果显示人格迁移证据有限,效应具有选择性且无法跨特质或研究情境泛化。在线研究中,可识别的语音身份线索激活了说话者预期,但未能重建更完整的人物印象,判断常受感知人工性和声音与外观匹配度影响。

  10. arXiv cs.AI31

    DPOison-VL:视觉语言模型 DPO 的干净偏好投毒攻击

    DPOison-VL 是首个针对 VLM-DPO 的干净偏好投毒攻击,仅通过对少量训练图像施加不可感知扰动,即可在不改动提示词、回复和偏好标注的情况下操纵模型对齐。该方法将投毒构造建模为双层优化,并提出偏好位移分数用于投毒样本选择,在仅 2% 投毒数据下实现最高 98% 攻击成功率,且具备跨模型迁移性,同时基本保持干净准确率与通用能力。

  11. arXiv cs.AI26

    Urbex:面向城市级 3D 场景的智能体空间定位框架

    Urbex 是一个智能体视觉语言框架,将城市级 3D 定位重构为主动空间搜索,让 VLM 智能体查询地标、缩放局部区域、渲染斜视图并输出定位边界框。该框架在 CityRefer 上通过强化学习优化工具使用策略,取得最佳 Hit@1 和 IoU,无需候选框与真值框,且显著快于最强的城市级排序基线。在 STPLS3D-Refer 上的零样本结果进一步显示跨场景鲁棒性提升。

  12. arXiv cs.AI22

    ShoeFit:面向虚拟鞋类试穿的新数据集与双图流 DiT 框架

    研究团队提出虚拟鞋类试穿框架 ShoeFit,并发布多视角鞋类试穿数据集 MVShoes,包含 7305 组标注图像三元组。ShoeFit 采用双流 DiT 架构,通过带 3D 旋转位置嵌入的多视角条件注入缓解视角错位,并用 LayeredRefAttention 借助背景特征调制鞋类隐变量以抑制背景导致的颜色失真。该工作已被 NeurIPS 2025 接收。

  13. arXiv cs.AI34

    AI 增强高光谱成像用于低级别胶质瘤术中检测的临床研究

    一项临床研究用 AI 增强高光谱成像(HSI)在术中检测低级别胶质瘤,3D CNN 结合光谱与空间特征取得最高中位 ROC-AUC 74.5%,高于纯光谱 XGBoost 的 67.9% 和基于 RGB 的 64.0%。研究在匹配组织位置和相同患者级数据划分下对比 HSI 与 RGB 分类,发现肿瘤区域反射率持续偏低,可能与血红蛋白浓度和氧合差异有关。

  14. arXiv cs.AI26

    MERIT:面向图像表格的多模态证据推理框架

    MERIT 是一个面向表格图像的三阶段推理框架,将序列化表格作为可选辅助输入,通过表格专用编码器适配、监督微调和强化学习实现证据选择与推理。该框架用重构、定位和颜色条件监督适配编码器,并以证据正确性、计算、最终答案和输出格式分别设置奖励,针对最终答案监督无法区分的检索与计算错误提供中间步骤反馈。研究在表格问答和事实验证任务上评估了该方法,并分析了视觉输入与各训练组件的贡献及跨数据集泛化能力。

  15. arXiv cs.AI22

    CineMem:面向多镜头长视频生成的注意力对齐细粒度记忆检索

    CineMem 是一个面向自回归多镜头视频生成的注意力对齐细粒度记忆检索框架,结合在线记忆组织与查询自适应检索。它提出在线聚簇 KV cache 作为记忆组织策略,并引入查询级检索机制,在固定检索预算下扩大历史信息访问、提升长期记忆利用率。该框架还配套一套 VLM 辅助的镜头间一致性评估指标,实验验证了其有效性。

  16. arXiv cs.AI22

    跨语言迁移 evil 向量存在方向不对称性

    一项针对四个开源指令微调 LLM 的研究发现,evil persona 向量的跨语言迁移存在方向不对称性:从英语、西班牙语等高资源语言提取的向量能有效迁移到斯瓦希里语、泰卢固语等低资源输入并基本保持 MMLU 表现,而从低资源语言提取的向量难以可靠获得、即便在同语言内也几乎无法有效引导行为。几何分析显示,两种高资源语言的 evil 向量高度对齐,低资源向量仅与该共享方向弱对齐。

  17. arXiv cs.AI25

    QK-Edit:重新审视 MM-DiT 中基于注意力的图像与视频编辑注入方法

    QK-Edit 是一个无需训练的框架,通过新的 query-key 操控策略利用 MM-DiT 的多模态自注意力动态,实现文本引导的图像与视频编辑。该方法支持物体添加、移除、替换、背景/材质/颜色更改和风格转换等任务,并可通过推理时的特征替换实现。在 FLUX 和 HunyuanVideo 等模型上,QK-Edit 展现出更优的编辑性能,该工作已被 ICCV 2025 接收。

  18. arXiv cs.AI26

    4LC:面向动态世界建模高效条件生成的 4D 潜在缓存

    研究者提出 4LC,一种带复合视觉表征与灵活时空访问接口的 4D 潜在缓存,可直接复用静态与动态内容的视觉表征作为生成条件,避免逐次 RGB 渲染与重编码。4LC 将 VAE、DINO、V-JEPA、VGGT 等多个视觉编码器的表征绑定到共享几何与运动上,并支持在任意指定时间与视角读取缓存。