PPGFlowECG:用潜在整流流与跨模态编码实现 PPG 引导的 ECG 生成与心血管疾病检测
PPGFlowECG 是一个两阶段框架,先用 CardioAlign Encoder 将 PPG 与 ECG 对齐到共享潜在空间,再用潜在整流流合成 ECG,论文形式化分析表明该编码器是稳定且语义一致生成的必要条件。在四个数据集上的实验显示其合成保真度与下游诊断效用均有提升,有望在无法获取标准 ECG 时支持可穿戴设备优先的心血管疾病筛查。该工作已被 IEEE ICDM 2026 接收。
PPGFlowECG 是一个两阶段框架,先用 CardioAlign Encoder 将 PPG 与 ECG 对齐到共享潜在空间,再用潜在整流流合成 ECG,论文形式化分析表明该编码器是稳定且语义一致生成的必要条件。在四个数据集上的实验显示其合成保真度与下游诊断效用均有提升,有望在无法获取标准 ECG 时支持可穿戴设备优先的心血管疾病筛查。该工作已被 IEEE ICDM 2026 接收。
研究者首次用 LLM 大规模模拟多语言学生-导师互动:强模型扮演导师生成提示,弱模型扮演学生,覆盖 11 种语言、4 个 SOTA LLM 和 352 组实验设置。结果显示,即便对多语言学生 LLM,英文提示通常仍更受偏好,仅少数例外能带来更好的学习效果。
这篇综述提出,从图像或视频帧序列生成自然语言的任务,本质上都是对随时间展开的视觉事件与语言特征之间复杂关系建模这一更广义多模态问题的实例。作者考察了五个看似不同但同属该问题的任务,梳理了近年代表性建模与评估方法及其共同挑战,并据此提出关键开放问题与未来研究方向。
开源框架 Open-MMUnlearning 统一了多模态大模型(MLLM)遗忘的目标模型准备、数据处理、遗忘与评估流程,支持 5 个基准、4 个模型家族的 8 个 MLLM 和 12 种遗忘方法。
多模态训练会让模型在推理时缺失某一模态的情况下反而不如单模态模型,这一现象出现在融合模型、CLIP 式双塔模型和视觉语言模型中。作者将其归因于主参数子空间中习得的跨模态依赖,并提出轻量参数编辑方法 Geodesic Unlearning(GU),沿测地线路径将主输入子空间旋转至单模态参考方向。实验显示 GU 在缺失模态推理下提升性能,同时保持全模态准确率,优于现有鲁棒性基线。
针对 RLVR 训练中视觉主张缺乏图像支撑的问题,研究者提出持久性感知信用门控(PACG),对异常持久的视觉主张衰减正向信用,无需标注且不增加推理成本。在 Qwen2.5-VL-7B 上,PACG 将九项基准三种子均值从 58.1% 提升至 59.9%(DAPO)、从 59.8% 提升至 60.9%(VPPO),并提升 HallusionBench 准确率。
研究团队提出 Spatial-Interactor 框架,通过交互让 VLM 建模物理世界状态转移,并构建了 LSI-108K 数据集,覆盖 L1 被动世界状态转移、L2 主动自身状态转移、L3 长程交互轨迹三级课程。
LayerRoute 是一种动作条件化的表示路由接口,通过 Layer Mixture Router 动态组合缓存的 VLM 层表示,并用 Action-State Reread 复用早期动作表示。
EmoStance 通过 emoji 弱监督实现共情回复生成中的回复侧情感取向控制,将多标注者 emoji 分布作为弱情感-态度证据而非输出符号,诱导出近似听者立场的潜在控制空间。
研究团队发布 PhysElite,一个面向奥赛级物理推理的大规模双语多模态基准,包含 11,586 道奥赛级题目,每题配有图示、中英双语分步解答推导和最终答案。对 18 个开源与闭源 MLLM 的评测显示,最强模型答案准确率仅 33.7%,研究还通过步骤级过程评估诊断模型推理链中的失败环节。数据集已公开。
针对视觉-文本压缩导致智能体能力下降的问题,研究者提出两阶段跨模态智能体策略自蒸馏框架 CAPS,用同一模型更强的文本历史策略监督其视觉历史策略。在 SearchQA 上,CAPS 以 3B 和 7B 骨干分别比 AgentOCR 提升 5.0 和 3.4 个百分点;在完整历史 ALFWorld 上分别提升 15.6 和 14.5 个百分点。
研究者提出属性级 MLLM 遗忘任务并构建 AMU-Bench,覆盖长文本、数字和短文本目标及多种遗忘比例与题型。针对目标属性与保留属性共享身份和视觉证据导致的残留泄漏问题,提出免训练框架 CLRP,通过因果定位与保留感知投影实现选择性遗忘。
研究者提出多智能体卧底游戏(MUG)协议,借鉴"谁是卧底"社交推理游戏,通过修改参考图像引入反事实证据,检测出存在幻觉的"卧底"智能体,为识别幻觉智能体提供真值依据。MUG 从三个维度改进多智能体辩论(MAD):以反事实测试实现超越统计共识的事实核验、通过动态修改证据源引入跨证据推理、推动智能体主动探究讨论而非被动作答。该工作已被 AAAI 2026 接收,源代码已公开。
研究者提出 UniW(A)M,一个基于扩散 Transformer 的混合专家框架,统一了动作条件世界建模与多种世界-动作模型(WAM)变体,共享专家捕捉通用动力学,原子能力专家跨接口复用。
GeoReader 框架通过训练轻量级 Geometric Readers 生成连续几何 token,让 VLM 直接读取几何信息,而非仅对齐几何特征。在 Qwen3-VL-4B 上,该方法在 MindCube-Tiny 达到 94.3;配合多源 QA 混合数据,Qwen3.5-9B 在六个额外空间基准上平均得分 72.5。推理时 VLM 直接由连续几何 token 作答,无需生成几何思维链。
Varest 提出一种图像 token 压缩方法,基于语义可替换性,用目标与文本定位器引导可变分辨率合并,再通过可学习的 [REL] 寄存器在解码器早期处理后剪枝视觉 token。
RadarGSOcc 直接处理 4D 雷达张量,分别提取几何与语义特征(含多普勒信息),核心是可变形注意力几何精修模块。
两项研究测试了虚拟角色使用熟悉人物的克隆声音时人格印象是否会迁移,结果显示人格迁移证据有限,效应具有选择性且无法跨特质或研究情境泛化。在线研究中,可识别的语音身份线索激活了说话者预期,但未能重建更完整的人物印象,判断常受感知人工性和声音与外观匹配度影响。
DPOison-VL 是首个针对 VLM-DPO 的干净偏好投毒攻击,仅通过对少量训练图像施加不可感知扰动,即可在不改动提示词、回复和偏好标注的情况下操纵模型对齐。该方法将投毒构造建模为双层优化,并提出偏好位移分数用于投毒样本选择,在仅 2% 投毒数据下实现最高 98% 攻击成功率,且具备跨模型迁移性,同时基本保持干净准确率与通用能力。
LLM2R 将 3D 零件装配转化为序列建模,用 Point-BERT 编码器和 Q-Former 把每个零件压缩为几何 token 块,再由经 LoRA 适配的因果 LLM 单次前向预测全部位姿。
研究发现多模态 LLM 的投影器训练阶段仅需 10% 到 20% 的数据即可恢复大部分下游性能,且不同数据集训练的投影器可线性插值而性能基本保持,表明该阶段主要完成粗对齐。
GeoMER 提出欧几里得-双曲联合几何建模框架,通过双曲情感核心路由(HypGeoRoute)在双曲流形上完成几何感知的核心分配与聚合,与欧几里得多模态融合模块(EuclFusion)互补,共同建模 token 级跨模态语义交互与潜在情感表示。
研究者提出 EgoOmniWorld 基准,以"自我-动作-世界"交互循环为统一原则,围绕 Node、Edge、Chain、Loop 四种交互结构组织,包含 24,166 个 QA 组(20,284 训练、3,882 测试)。
Urbex 是一个智能体视觉语言框架,将城市级 3D 定位重构为主动空间搜索,让 VLM 智能体查询地标、缩放局部区域、渲染斜视图并输出定位边界框。该框架在 CityRefer 上通过强化学习优化工具使用策略,取得最佳 Hit@1 和 IoU,无需候选框与真值框,且显著快于最强的城市级排序基线。在 STPLS3D-Refer 上的零样本结果进一步显示跨场景鲁棒性提升。
研究团队提出虚拟鞋类试穿框架 ShoeFit,并发布多视角鞋类试穿数据集 MVShoes,包含 7305 组标注图像三元组。ShoeFit 采用双流 DiT 架构,通过带 3D 旋转位置嵌入的多视角条件注入缓解视角错位,并用 LayeredRefAttention 借助背景特征调制鞋类隐变量以抑制背景导致的颜色失真。该工作已被 NeurIPS 2025 接收。
AffectWorld 是一个评估"情绪-动作-世界状态"链条的世界模型基准,包含 1,498 个日常视频样本,覆盖世界状态一致性、情绪-动作一致性和因果一致性三项任务,并设 233 个反事实样本检验情绪改变是否带来动作与后果的相应变化。
针对 VLM 逐页解析长文档时标题层级缺乏文档级一致性的问题,研究者提出一种基于 VLM 的框架,通过分层多模态记忆增量重建标题层级,该记忆按锚点保留此前处理页面的紧凑子集,并选取每层最新节点供模型观察各层级标题的视觉、文本与布局模式。
研究者在 400 道 VQA-RAD 是非题、19,200 轮多轮对话中测试四款开源医学 VLM,发现未披露文档为合成时,模型放弃了 80.1% 的 6,488 个正确答案。
一项临床研究用 AI 增强高光谱成像(HSI)在术中检测低级别胶质瘤,3D CNN 结合光谱与空间特征取得最高中位 ROC-AUC 74.5%,高于纯光谱 XGBoost 的 67.9% 和基于 RGB 的 64.0%。研究在匹配组织位置和相同患者级数据划分下对比 HSI 与 RGB 分类,发现肿瘤区域反射率持续偏低,可能与血红蛋白浓度和氧合差异有关。
MERIT 是一个面向表格图像的三阶段推理框架,将序列化表格作为可选辅助输入,通过表格专用编码器适配、监督微调和强化学习实现证据选择与推理。该框架用重构、定位和颜色条件监督适配编码器,并以证据正确性、计算、最终答案和输出格式分别设置奖励,针对最终答案监督无法区分的检索与计算错误提供中间步骤反馈。研究在表格问答和事实验证任务上评估了该方法,并分析了视觉输入与各训练组件的贡献及跨数据集泛化能力。
CineMem 是一个面向自回归多镜头视频生成的注意力对齐细粒度记忆检索框架,结合在线记忆组织与查询自适应检索。它提出在线聚簇 KV cache 作为记忆组织策略,并引入查询级检索机制,在固定检索预算下扩大历史信息访问、提升长期记忆利用率。该框架还配套一套 VLM 辅助的镜头间一致性评估指标,实验验证了其有效性。
DriveWLA 是一个基于 Mixture-of-Transformers(MoT)的世界-语言-动作模型,通过 World、Language、Action 三个专家分别负责未来预测、语义理解与轨迹生成,并引入 Cross-Expert Attention 对齐语义与动态表示。
研究在 UNK-VQA 的 10K 分层子集上系统评估冻结 InstructBLIP 的可回答性信号,涵盖预测不确定性、跨模态对齐、视觉定位、视觉依赖、内部表示与学习探针,测试 AUROC 大多仅 0.50-0.54。
一项针对四个开源指令微调 LLM 的研究发现,evil persona 向量的跨语言迁移存在方向不对称性:从英语、西班牙语等高资源语言提取的向量能有效迁移到斯瓦希里语、泰卢固语等低资源输入并基本保持 MMLU 表现,而从低资源语言提取的向量难以可靠获得、即便在同语言内也几乎无法有效引导行为。几何分析显示,两种高资源语言的 evil 向量高度对齐,低资源向量仅与该共享方向弱对齐。
研究者提出 MMTA 基准,用时间序列、文本与视觉三模态任务评测多模态大模型,覆盖机器人、自动驾驶、医疗、金融等九个领域,含 3,524 条测试样本,涵盖分类与预测。
QK-Edit 是一个无需训练的框架,通过新的 query-key 操控策略利用 MM-DiT 的多模态自注意力动态,实现文本引导的图像与视频编辑。该方法支持物体添加、移除、替换、背景/材质/颜色更改和风格转换等任务,并可通过推理时的特征替换实现。在 FLUX 和 HunyuanVideo 等模型上,QK-Edit 展现出更优的编辑性能,该工作已被 ICCV 2025 接收。
研究者提出免训练框架 EGVCA(Evidence-Guided Visual Claim Admission),通过对比图像输入与视觉空输入下的语义主张似然,仅在主张获得足够图像相关支持时才予以采纳。
研究者提出 4LC,一种带复合视觉表征与灵活时空访问接口的 4D 潜在缓存,可直接复用静态与动态内容的视觉表征作为生成条件,避免逐次 RGB 渲染与重编码。4LC 将 VAE、DINO、V-JEPA、VGGT 等多个视觉编码器的表征绑定到共享几何与运动上,并支持在任意指定时间与视角读取缓存。
研究提出 MorphContrast,一种形态感知对比多实例学习框架,以组织标签作为结构监督预测结直肠癌五年生存。在 Alliance/CALGB 89803 上单模型 AUC 为 0.642,事后集成达 0.70,风险组 hazard ratio 为 3.79;外部 SurGen 结肠癌队列(n=218)单模型与集成 AUC 分别为 0.669 和 0.678。
研究团队发布 Tanawpamana Dataset 与 Tanawpamana Benchmark,后者包含 4,046 项任务,用于评估视觉语言模型对菲律宾文化遗产地的识别与知识。