跳到正文
#多模态
10月8日周四
  1. arXiv cs.AI22

    多模态知识蒸馏用于全切片图像胃腺癌分类

    研究提出多模态知识蒸馏（MKD）框架，用低秩多模态融合（LMF）结合预训练 WSI 图像编码器与临床文本编码器，教师模型学习图像-文本融合表示做亚型分类，学生模型蒸馏该知识实现仅图像推理。在 PatchGastric 基准上平均准确率比 SOTA 至少高 3.35%，且不依赖 Transformer 融合、多任务学习或大语言模型。

  3. arXiv cs.AI22

    SENSE：状态感知的情绪导航叙事生成引擎

    SENSE 是一个状态感知框架，用于生成可玩的分支视觉小说并支持多轨情绪导航，集成了基于状态的叙事架构 MIND、结构分析器和路径感知上下文管理模块。从少量高层输入出发，它能生成多条交叉路线，同时保持角色一致性与叙事因果性。基于 LLM 评判、情感指标和视觉评估的评测显示，SENSE 在叙事多样性和素材整合稳健性上优于基线，初步人类试验显示情绪保真度有方向性提升，娱乐性相当。

  5. arXiv cs.AI24

    OpenSplatGraph：从稠密语义地图到开放词汇机器人感知的结构化场景图

    OpenSplatGraph 是一个统一框架，可直接从在线高斯开放词汇语义地图构建持久 3D 场景图，通过可靠性感知语义场实现置信度感知、查询条件下的物体提取，并将物体实例关联为持久图节点以增量更新属性与关系。该框架同时支持语言引导的物体定位与结构化关系推理，在标准 3D 场景理解基准和真实机器人实验中取得有竞争力的性能，已被 ACCV 2026 接收。

  7. arXiv cs.AI24

    ElasticFit：基于 VLM 推理与生成式适配的贴合感知 3D 物体插入

    ElasticFit 是一个由 VLM 引导的贴合感知 3D 物体插入框架，通过场景锚定表示将语言指令转化为接地位置、占据体积、朝向和适配模式（刚性放置、等比缩放或弹性贴合）等结构化约束，再生成场景条件物体先验并重建为 3D 网格，经模式特定拟合优化并保证避碰、接触一致与物理接地。

  8. arXiv cs.AI22

    TC3-VQA：面向战术战伤救治的视觉问答数据集发布

    研究者发布 TC3-VQA 数据集，用于让视觉语言模型把伤情与干预的视觉观察同权威 TC3 指南关联起来。数据集由公开教学与实战 TC3 视频及权威 TC3 文档构建，含 581 个条目、覆盖 11 个概念、共 1,860 个问题，涉及干预识别、指南、临床推理、操作指导及视觉信息不足时的拒答。

  10. arXiv cs.AI18

    VLM 引导的电磁数字孪生在线校准演示：基于 Unitree G1 与 NVIDIA Sionna

    一个由视觉语言模型（VLM）引导的电磁数字孪生在线校准框架，在 Unitree G1 机器人和 NVIDIA Sionna 上演示，通过两次 VLM 调用完成材质分类与路径点规划。在真实室内场景中，该框架在 20 米行程内实现归一化平均绝对电导率误差 1.74×10⁻⁴，随机初始化无法收敛，随机路径点则需两倍以上行程。

  11. arXiv cs.AI27

    图像哪一属性承载了越狱？图像到文本越狱的受控剖析

    研究在 313 条 StrongREJECT 提示切片上，用五种多模态模型（附录另测 InternVL3.5-8B）剖析四类已发表攻击的图像侧因素。逐 tile 熵与 JPEG 大小无法可靠区分攻击 tile 与同尺寸良性干扰图；修正后的区域数量测试未发现可检测效应。在 Qwen3-VL-8B 上，移除查询相关性的 E4 操纵使 ASR 下降约 0.12，支持将效果有限归因于相关性操纵。

  13. arXiv cs.CL22

    面向多语言语音识别的 LLM 音素到字素方法研究

    研究在十语言 CV-Lang10 基准上探索基于 LLM 的多语言音素到字素（P2G）转换，针对 S2P 不确定性提出 DANP 与 Simplified SKM（S-SKM）鲁棒性策略，其中 S-SKM 是一种蒙特卡洛近似方法，可避免在 P2G 训练中使用基于 CTC 的 S2P 概率加权。结合鲁棒训练与低资源过采样，平均 WER 从 10.56% 降至 7.66%。

  14. arXiv cs.AI27

    PersonaPlex-7B 全双工语音模型对话中的轮流发言为何滞后

    两个 PersonaPlex-7B 实例在共享时钟上交换音频 token 进行无脚本对话，其轮流发言时序相互耦合，重新配对说话人会破坏这种耦合。但它们的发言权交接偏晚，中位数为 400-560 ms，而人类为 137 ms；在伙伴发言最后 120 ms 内，人类有十分之一的交接发生于此，而这些模型仅占 1%。

  15. arXiv cs.CL35

    InfiMed2：基于上下文证据与稳定性感知监督的通用医学多模态基础模型

    InfiMed2 是一个 4B 和 27B 的通用医学多模态基础模型系列，基于 55.68B token 语料和阶段感知数据设计构建。其 CPT 流程先适配视觉编码器、再建立广泛医学知识、最后在学习率衰减阶段转向证据聚焦数据混合；SFT 阶段通过答案稳定性、答案掩码重建和正确性约束筛选重新生成视觉问答回复。

  17. arXiv cs.CL27

    多语言 LLM 的日常知识短板：TriviaRoomQA 基准揭示流行文化盲区

    研究者提出多语言基准 TriviaRoomQA，用 288 个主题的 3,300 道平行多选题（六种欧洲语言）加 5,340 道法语题，评测了 30 个 7B 至 70B 参数的开源权重 LLM。结果显示模型在历史、地理、数学等知识密集型主题上表现强劲，但在名人、音乐、电影、新闻等日常流行文化主题上明显偏弱，且同一问题在不同语言下表现不一，说明事实知识获取并非总是与语言无关。

  19. arXiv cs.AI17

    QEMFN：基于可训练纠缠的资源感知混合视觉语言融合网络

    研究者提出量子纠缠多模态融合网络（QEMFN），一种将参数化纠缠作为结构化归纳偏置的混合量子-经典框架，在相同参数预算和冻结 CLIP 骨干下，于 COCO-5k 和 Flickr30k 上超越多层感知机、张量融合、FiLM、交叉注意力、紧凑 Transformer 及去量子化配对拓扑等经典融合基线。

  24. arXiv cs.CL22

    GAGR-Lab：评估联合空间几何与解析函数推理

    GAGR-Lab 是一个通过笛卡尔游戏场景、显式函数语义和 Rust 轨迹执行来测量联合空间几何与解析函数推理能力的框架。对 Llama 3.2 11B Vision Instruct 的有限试点运行了 72 个均衡游戏、432 次尝试，无目标命中；特权解析搜索控制在 300 个生成场景的 600 个方向案例上独立成功。框架区分服务可靠性、符号合规与几何成功，完整难度矩阵与多模型对比结果尚未测试。

  25. arXiv cs.AI31

    WorkflowOps：为多智能体工作流编排学习智能体协作先验

    WorkflowOps 是一个多智能体工作流编排框架，从历史工作流中学习智能体协作先验，并按需扩展智能体池以覆盖新能力需求。它通过转移概率矩阵在 DAG 构建中提供软引导，用充分性驱动的智能体创建循环检测能力缺口并生成专用智能体，还以分层语义匹配将 LLM 路由调用减少 80% 以上。在代码、数学与问答混合套件上，其端到端通过率优于近期工作流构建基线，在结构化可分解任务上提升最大。

  26. arXiv cs.CL22

    PARC-Loc：用部分分配与关系一致性实现文本到点云定位

    PARC-Loc 是一个基于部分分配与关系一致性（PARC）的由粗到细文本到点云定位框架，联合建模提示物体兼容性与成对空间关系，以缓解布局不一致的混叠和边界证据不完整两类失败模式。在 KITTI360Pose 上，该方法将 5 米 Top-1 定位召回率从 0.50 提升至 0.67，相对最强基线提升 34%；在 CityLoc 上也优于传统由粗到细基线。

  29. arXiv cs.CL53

    WebMirage：对抗图像劫持网页智能体，从视觉定位到浏览器执行

    论文提出 WebMirage 框架，针对基于大型视觉语言模型的网页智能体，构造局部视觉扰动，使智能体选择攻击者控制的内容并执行对应的浏览器动作。作者把视觉网页智能体的红队测试形式化为从视觉定位到执行的端到端问题，用角色槽抽象与网页重组刻画网页元素间的竞争，并用数据流分析让优化对齐动作后处理。

  31. arXiv cs.AI24

    从局部证据到安全判定：视觉语言模型中的因果追踪

    研究者提出 SSU-Bench 数据集，用单项提示词编辑或图像编辑构造配对的安全与不安全图文组合，并在三个视觉语言模型间迁移内部状态以测量安全判定变化。结果显示，对变更输入位置的干预在解码器较早层有效，而对最终输入 token 的干预在较晚层才生效；最终 token 状态的线性读出还能预测模型自身判定（包括错误判定）。

  34. arXiv cs.AI23

    基于阿克曼转向移动机器人的连续环境视觉语言导航 Sim-to-Real 迁移

    研究团队将连续环境下的视觉语言导航（VLN）方法从仿真迁移到真实世界，无需导航图或全景视图。系统采用 Cross-Modal Attention（CMA）架构，在仿真数据集上训练后，用自建阿克曼转向机器人（配备摄像头和 LiDAR）采集的真实数据进行微调，结合线性光度调整和少量 episode 微调即可适应真实环境，并在专用硬件上离线运行。SPL 和 nDTW 指标验证了方法的鲁棒性与适应性。

  38. RadarAI42

    腾讯元宝上线医疗健康问答：拍照解读体检报告、药品说明书

    腾讯元宝推出 AI 健康助手功能，支持用户通过拍照或语音提问，解读体检报告指标、药品说明书用法用量及保健品成分表。该功能接入中国医药信息平台、腾讯医典、有来医生、医脉通、药智网等专业信源，官方提示 AI 检索的健康信息仅供参考，具体诊疗请以医生建议为准。

  39. RadarAI62

    阶跃星辰 Step 5 Preview 上线 OpenRouter

    阶跃星辰（StepFun）的 Step 5 Preview 已上线 OpenRouter，这是其面向智能体工作的新旗舰模型。该模型采用稀疏 MoE 架构，270 亿激活参数、总参数 600B，支持 1M 上下文和文本、图像、视频输入，擅长编码与专业知识工作，尤其是金融领域。试用地址为 https://openrouter.ai/stepfun/step-5-preview。