#多模态

Claude 为 Acquired 播客制作交互网站

有人让 Opus 5.5 为 Acquired 播客最新一期 Home Depot 节目制作了一个交互式网站伴侣，网站中的水彩插画也全部由 Claude 绘制。

面向胶质母细胞瘤影像基因组学的生物医学 AI 神经语义验证框架

研究提出一种神经语义验证框架，将影像组学测量转化为可寻址的证据记录与可机器校验的断言，用于验证生物医学 AI 的每条陈述是否有患者特异性证据支撑。该框架在 UPenn-GBM 影像组学数据与独立多中心队列的 CaPTk 提取结果间进行对齐，共享空间涵盖 T1、T1GD、T2 和 FLAIR MRI 三个肿瘤区域的 1,728 个特征。

视觉推理中 RL 更新参数的选择性迁移

研究提出围绕训练阶段更新来迁移能力，将强化学习（RL）在语言模型上引发的参数变化单独分离，再迁移到视觉语言模型（VLM），而非按端点整体迁移。作者发现该 RL 更新的各组成部分跨模型可迁移性差异显著，主导方向迁移效果更好，因此完整迁移并非最优。

Google 发布开源多模态嵌入模型 EmbeddingGemma 2，最低 0.5GB RAM 本地运行

Google 发布开源嵌入模型 EmbeddingGemma 2，采用 Apache 2.0 许可，740M 参数由 270M 文本模型、170M 视觉与 300M 音频编码器组成，支持 100+ 语言、8K 上下文以及文本、代码、图像、视频、音频的统一嵌入。270M 版本最低 0.5GB RAM、完整多模态版 1GB RAM 即可本地运行，并可通过 Unsloth 的 GGUF 运行和微调。

Google 发布 740M 参数多模态嵌入模型 EmbeddingGemma 2

Google 发布 EmbeddingGemma 2，参数量 740M，活跃内存占用约 191MB 至 567MB，官方称其性能超过部分体积两倍以上的模型。上下文窗口较第一代扩大 4 倍至 8K，单次可处理最长 5.5 分钟音频、29 张图片或 58 个视频帧。

Google 发布 EmbeddingGemma 2，首个原生多模态端侧嵌入开源模型

Google 发布 EmbeddingGemma 2，这是其首个面向端侧嵌入的原生多模态开源模型。模型基于 Gemma 4 架构，采用 Apache 2.0 许可证，在文本之外将图像、视频、音频和代码统一到单一嵌入空间。

CropSentry：面向农业行间早期胁迫检测的群体协同多机器人系统

论文提出 CropSentry，一个低成本地面多机器人系统，通过多模态叶片传感逐行持续监测作物健康并追踪胁迫水平。系统由两个自主机器人组成，持续采集叶片颜色与环境数据，观测结果按空间位置关联。相比高光谱成像和 AI 系统，该方案面向难以承担高成本与复杂度的中小农户。

CMDS：用随机最优控制协调多智能体扩散模型

研究者提出 Coordinated Multi-Agent Diffusion Steering（CMDS），将冻结的预训练扩散模型视为可复用的生成基元，通过学习到的控制协调其反向过程，从而生成由多个交互组件构成的结构化输出。该框架只需学习组件间的协调方式，无需重新学习各组件分布及其交互，为模块化复用独立训练的生成器提供了新思路。

冻结的视频语言模型是否已编码证据就绪信号？

研究发现冻结的 VideoLLM 已线性编码"证据就绪"信号，该信号由带时间戳的证据标注而非模型输出生成。在七个模型的字节级一致评测中，最严格的未就绪采样下 AUROC 达 0.733-0.905，而拟合时钟接近随机水平。

MedCORE：面向可解释医学图像诊断的标准锚定临床推理框架

MedCORE 是一个将临床推理结构化的视觉语言诊断框架，针对现有深度学习模型直接从图像特征映射到疾病标签、不显式检验临床形态与纹理标准的问题，为每张输入图像分解诊断标准。该框架名为 Medical Criteria-Oriented Reasoning and Evidence，目标是提升诊断透明度，避免因跳过结构化推理而影响临床安全部署。

Scrimshaw Jukebox：用 Claude Opus 5.5 生成游戏音乐

有人测试 Claude Opus 5.5 能否作曲，让它先设计一种简单的文本音乐格式，再构建一个可播放该格式的 artifact，并内置示例曲目，目标是达到初代《猴岛小英雄》的音乐水准。结果成品比预期更贴近《猴岛小英雄》风格，但效果出奇地好。作者由此猜测，作曲能力或许类似此前的 3D 图形能力，是模型新涌现的一项能力。

Knee3DVLM：双序列全容积视觉语言模型用于膝关节 MRI 综合评估

Knee3DVLM 是一个序列感知的视觉语言模型，利用全容积 DESS 与液体敏感 TSE 膝关节 MRI，预测源自 MOAKS 的 57 个解剖定位二分类诊断目标，用于结构化报告。研究基于受试者不重叠的 Osteoarthritis Initiative 数据，对比了仅 DESS、仅 TSE 与 DESS-TSE 配对三种配置。

Mistral 发布 Mistral Large 4：1T 参数多模态开源权重模型

Mistral 发布 Mistral Large 4（Le Chonk），为 1T 参数、49B 激活的原生多模态模型，API 已可用，开源权重将于 10 月底发布。Mistral 称其是美欧聚合评测中最佳开源权重模型。Elvis Saravia 表示性能不算太惊艳，但认可其多模态能力，认为这是 Mistral Large 可以突出的方向。

AssemState：面向零样本家具装配的手册与物理状态引导推理框架

AssemState 是一个零样本家具装配框架，通过手册与物理状态引导推理，将图解手册中的步骤级操作转化为 6D 位姿更新，使零件能与环境和已装配部件发生物理交互。该工作针对多模态大语言模型在精确 3D 空间推理与物理环境结合上的不足，提出以物理状态引导的方式完成装配。

Hugging Face 上线 Mistral Large 4 开源发布提醒页面

Thomas Wolf 转发 Mistral 官方公告，Mistral Large 4 开放权重将于 10 月底发布，参数为 1T、激活 49B，原生多模态，Hugging Face 页面已开放接收发布通知。公告称其为美欧最佳聚合基准开源权重模型，在网络安全防御、制造和金融任务上表现领先，视觉 grounding 超过闭源前沿模型，API 已开放，网络安全伙伴私下合作中。

Mistral 发布万亿参数多模态模型 Mistral Large 4，计划三周后开放权重

Mistral AI 于周二发布万亿参数多模态模型 Mistral Large 4（昵称 Le Chonk），定位为介于闭源与中国开源模型之间的第三条路线。该模型目前仅能通过公开 guardrail 端点访问，安全测试完成后计划在三周内开放权重。它仅用 4,000 块 NVIDIA GPU 在 Mistral 自有算力上完成训练，优化用例包括网络安全、金融和芯片设计。

同一新闻，精选展示《Mistral 发布 Mistral Large 4，1T 参数原生多模态，月底开放权重》

Mistral AI 发布 Mistral Large 4 多模态模型

法国 AI 实验室 Mistral AI 发布 Mistral Large 4，这是一个新的大规模多模态模型，目标是超越美国和中国的竞争对手。

Mistral 发布 Mistral Large 4：1T 参数、49B 激活的原生多模态开源权重模型

Mistral 发布 Mistral Large 4，采用 1T 参数、49B 激活的原生多模态架构，官方称其为美欧最佳开源权重模型，并在视觉 grounding 上超越闭源前沿模型。该模型已在 API 上线，开源权重预计 10 月底发布，可通过 Mistral Cloud 从欧洲部署。

同一新闻，精选展示《Mistral 发布 Mistral Large 4，1T 参数原生多模态，月底开放权重》

Mistral Large 4 上线 OpenRouter 公测：1T 参数、1M 上下文、前两周五折

Mistral Large 4 已在 OpenRouter 开启公开预览，规格为 1T 参数（49B 激活）、原生多模态、1M 上下文，最高支持 256K 输出。前两周五折，定价为每 1M tokens 输入 $0.68、输出 $2.09，缓存 $0.07。

Mistral Large 4 上线 Arena 的 Agent Arena 与 Code Arena 评测

Arena 宣布 Mistral 的 Mistral Large 4 已进入 Agent Arena，用户可前往测试投票，分数稍后公布。该模型为 1T 参数、49B 激活的原生多模态开放权重模型，也已在 Code Arena 的 WebDev、Text 和 Vision 中可用。

GeoPID：从几何视角分解与引导视觉语言模型中的视觉信息

GeoPID 是一个免训练框架，从几何视角分析视觉语言模型（VLM）中的多模态信息，通过视觉与文本表示子空间之间的几何关系，将信息分解为冗余、模态独有和协同三类成分。研究覆盖 22 个 VLM 和 14 个 benchmark，发现这些模型普遍未充分利用视觉信息、过度依赖文本上下文。

Mistral 发布 Mistral Large 4，1T 参数开源模型月底开放权重

Mistral 发布 Mistral Large 4（代号 Le Chonk），为 1T 参数、49B 激活的原生多模态模型。官方称其在聚合基准上是美欧开放权重模型的最佳成绩，并在视觉 grounding 上超越闭源前沿模型。API 今日可用，开放权重版将于 10 月底发布。

同一新闻，精选展示《Mistral 发布 Mistral Large 4，1T 参数原生多模态，月底开放权重》

Mistral 发布 Mistral Large 4：1T 参数多模态模型，10 月底开放权重

Mistral 发布 Mistral Large 4（Le Chonk），1T 总参数、49B 激活参数，原生多模态。官方称其在聚合基准上是美国或欧洲最佳开源权重模型，在网络防御、制造和金融等关键负载达到 SOTA，视觉 grounding 超过闭源前沿模型。该模型可通过 Mistral Cloud 从欧洲部署，API 即日开放，开放权重将于 10 月底发布。

同一新闻，精选展示《Mistral 发布 Mistral Large 4，1T 参数原生多模态，月底开放权重》

Mistral Large 4 上线 OpenRouter 公测：1T 参数、512K 上下文

Mistral Large 4 已在 OpenRouter 开放公测，规格为 1T 参数（49B 激活）、原生多模态、512K 上下文、最高 256K 输出。前两周五折，每 1M tokens 输入 $0.68、输出 $2.09，缓存 $0.07。

针对自动驾驶黑盒视觉语言模型的可迁移时空一致性对抗攻击

研究者提出 STCA（Spatial Temporal Coherence Adversarial Attack），一种针对自动驾驶场景视频的黑盒视觉语言模型对抗攻击，利用时空一致性生成可迁移的对抗样本。现有研究多聚焦图像模型鲁棒性，VLM 在时序视频攻击下的脆弱性此前未被充分考察。

Mistral 发布 1T 参数开源权重模型 Mistral Large 4 Le Chonk

Mistral 发布 Mistral Large 4 Le Chonk，总参数 1T、激活参数 49B，支持原生多模态。API 即日起推出，开源权重计划 10 月底发布，官方称其在包括网络防御在内的关键工作负载上达到 SOTA。

同一新闻，精选展示《Mistral 发布 Mistral Large 4，1T 参数原生多模态，月底开放权重》

Mistral 发布 Mistral Large 4，1T 参数原生多模态，月底开放权重

Mistral AI 发布 Mistral Large 4（别名 Le Chonk），采用 1T 参数、49B 激活的原生多模态架构。官方称其在美欧开放权重模型中聚合基准最佳，在网络防御、制造和金融等关键工作负载达到 SOTA，视觉 grounding 上超越闭源前沿模型。该模型现可通过 API 使用，开放权重计划于 10 月底发布。

Sensor-Language-Action 模型：统一多模态传感、语言与动作的建模框架

研究者提出 Sensor-Language-Action（SLA）建模框架，将多模态传感器观测、自然语言与动作统一在单一模型中，以语言作为感知与行动之间的语义接口，使异构动作可被表示、预测和解释。现有传感器模型大多止步于感知，仅识别状态或预测结果，动作则通过任务特定且常为封闭标签空间的方式单独建模。

QEMFN：基于可训练纠缠的资源感知混合视觉语言融合网络

研究者提出量子纠缠多模态融合网络（QEMFN），一种混合量子-经典框架，将参数化纠缠作为多模态融合的结构化归纳偏置。该方法把预训练视觉与文本特征投影到紧凑潜空间，编码为角度参数化量子态，经模态内与成对跨模态纠缠电路处理后测量输出。

Google 发布 EmbeddingGemma 2：740M 参数多模态端侧嵌入模型

Google 发布 EmbeddingGemma 2，这是一款 740M 参数的多模态端侧嵌入模型。该模型可在设备本地运行，用于生成多模态嵌入向量。

Agentic VLM 流水线中的视觉编排税：视觉证据复用的审计与认证

研究提出"视觉编排税"概念，指 Agentic VLM 流水线中语义未变的图像在 VLM API 边界被反复重建为图像条件请求，形成编排层冗余。作者构建了从测量到认证的框架，定义 M1_trace 统计原始视觉证据触碰次数，M2 衡量结构性触碰冗余。

失败在于读出：细粒度情绪识别基准测的是诱发而非感知

研究指出，EmoNet-Face-HQ 用生成人像和 40 类细粒度情绪分类评测视觉语言模型（VLM），并据此得出必须使用微调模型 Empathic-Insight-Face（EIF；Small/Large）的结论。但作者发现，在合适的读出方式下，现成 VLM 的表现可持平甚至超过该微调模型，说明基准测的是情绪诱发而非感知能力。

ChartBmkAgent：以 Harness 治理的多智能体从稀疏错误分类规范构建 Chart QA 基准

ChartBmkAgent 通过 Harness 治理的多智能体流程，从稀疏的错误分类规范出发自动构建 Chart QA 基准，以缩短基准开发周期并按需将已识别的能力缺口转化为定向样本。该方法针对现有多模态大模型基准开发滞后、且现有自动化构建方法常将目标指引与构建过程割裂的问题，利用信息丰富的图表来探测耦合的感知与推理能力。

DSV-Mem：评估 MLLM 智能体在专业工作流中的多模态记忆

DSV-Mem 是一个面向 MLLM 智能体的多模态记忆评测基准，聚焦 AI 研究、工程设计、产品管理与业务运营等专业工作流。现有基准多集中于日常非正式交互与个人生活场景，使用自然照片、孤立静态素材和回忆型问题；而专业场景涉及结构化、信息密集且频繁修订与权限更新的素材，以及需要组合推理的查询。

可灵拆解 Kling 4.0 制作 AI 短片《The Beat》

可灵 AI 拆解 AI 短片《The Beat》的制作过程，该片全网曝光超 500 万。Kling 4.0 支持单次原生生成最长 30 秒视频、单次任务最多 15 项参考素材、最多 10 张关键帧输入，并提升了大动态运镜稳定性与口型匹配。Kling 4.0 Flash 已向黑金年卡会员开放抢先体验，Kling 4.0 将于 10 月正式上线。

HINTT 提交第二届 MLC-SLM 挑战赛：级联与统一方法在说话人分离与 ASR 上的对比

HINTT 团队向第二届 MLC-SLM 挑战赛提交了面向多语言说话人归属 ASR 的系统，对比了两种建模策略：结合说话人分离与语音 LLM ASR 的级联流水线，以及直接生成说话人标签、时间戳和转写文本的统一语音 LLM。最终提交基于级联流水线，由微调后的 DiariZen 说话人分离模块构成。

VisionWeave：将弹性视觉表示作为 MLLM 原生能力

VisionWeave 提出把弹性视觉表示作为多模态大模型的原生能力，以应对现有模型将输入编码为密集固定尺寸 patch token 带来的高成本问题。该方法针对视觉信息分布不均的特点，让需要细节的区域保留细粒度、其余区域采用紧凑表示，并指出已有 token 剪枝与自适应方案在内容自适应粒度、任务泛化和与现代 MLLM 及服务基础设施集成上仍受限。

PixelTriage：在查看前决定哪些检索记忆值得用像素

多模态助手从含图像的长期记忆中检索答案时，每张图以约一千个视觉 token 的像素形式送入模型代价高昂。PixelTriage 作为检索后的插件，用一个小模型在不读取任何全分辨率图像的情况下，提前预测哪些检索记忆值得用像素。研究发现像素带来的收益通常只来自一两张检索记忆。

多模态学习的动态对齐与校准

针对多模态学习中静态跨模态对齐对所有样本施加统一约束、易导致过度对齐的问题，以及现有置信度或不确定性感知融合方法未能充分考虑各模态特征幅度与置信度差异的缺陷，研究提出动态对齐与校准方法。该方法通过自适应建模模态间信息差异来学习鲁棒表征，尤其针对特征幅度差异显著的模态对。

多模态知识蒸馏用于全切片图像胃腺癌分类

研究提出多模态知识蒸馏（MKD）框架，用低秩多模态融合将预训练 WSI 图像编码器与临床文本编码器结合，用于全切片图像的胃腺癌亚型分类。该方法针对现有方案依赖计算昂贵的 Transformer 架构和大语言模型的问题，无需这类重型模型即可融合病理报告文本与 WSI 信息。