跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

17 条精选近 30 天 17 条共收录 1,116 条

更新

大事记

重要进展

多模态的精选

10月16日周五第 1–17 条
  1. RadarAI82

    Meta 开放权重模型 Muse Spark Open 上架 OpenRouter

    Meta 发布开放权重模型 Muse Spark Open,现已可在 OpenRouter 使用,定位为面向编码与智能体工作的美国最强开放权重模型。模型总参数 816B、激活 42B,支持 1M token 上下文窗口,原生多模态,支持图像、视频、音频和 PDF 输入。OpenRouter 定价为输入 $1.25/M、输出 $4.25/M。

    推荐理由:OpenRouter 上架该开放权重模型并给出定价与输入模态细节,读者可据此评估接入成本与适用场景。

  2. Together AI Blog78

    Meta Muse Spark Open 上线 Together AI,支持 1M token 上下文与智能体编码

    Meta 的 Muse Spark Open 已在 Together AI 上线,Together AI 是其 Day 0 发布伙伴。该模型面向长时程智能体编码工作流,具备 1M token 上下文窗口、长时程自主规划与自我纠错、可协调子智能体、跨桌面移动端与浏览器的 computer use 与多模态浏览,并接受文本、图像、音频和音视频输入,还会在执行前说明意图。

    推荐理由:官方给出 Muse Spark Open 的上下文窗口、定价与调用方式,可据此判断它在长时程编码智能体上的可用性。

  3. PyTorch Blog85

    Meta 开源 Muse Spark Open:816B 总参数、42B 激活的编码与智能体模型

    Meta 发布 Muse Spark Open 的开放权重,这是一个 816B 总参数、42B 激活的模型,上下文窗口 1M tokens,已在 Hugging Face 上以 Muse Model License 提供。

    推荐理由:Meta 开源 816B 总参数、42B 激活的编码与智能体模型,并给出 Helion 内核与 TorchTitan 微调路径,可据此评估开源权重模型的部署与二次训练成本。

10月15日周四
  1. NVIDIA Newsroom74

    NVIDIA 扩展 Nemotron 家族,发布 Nemotron 3.5 Super VL 与 Bolt 系列模型

    NVIDIA 发布开放模型 Nemotron 3.5 Super VL,1200 亿参数,主打多模态智能体任务,官方称其吞吐量最高可达同类模型的 5 倍,精度接近 NVIDIA 最大推理模型而参数量约为其五分之一。

    推荐理由:NVIDIA 一次放出三款覆盖数据中心到端侧的开放权重模型,并列出各行业后训练案例,可据此判断开放模型在企业智能体部署中的位置。

10月14日周三
  1. 量子位78

    面壁开源 MiniCPM-V 4.7:35B-A3B 手机断网可跑,仅占 3G 内存

    面壁智能与 OpenBMB 开源 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,其中 35B-A3B 是 MiniCPM-V 系列首个 MoE 模型,约 3G 内存即可在 iOS、安卓设备上运行。

    推荐理由:面壁开源 MiniCPM-V 4.7,给出 35B-A3B 在手机端 3G 内存运行的具体实测与压缩数据,可据此判断端侧多模态的落地边界。

  2. Hacker News88

    Google DeepMind 发布 Gemini 4 Argon

    Google DeepMind 发布 Gemini 4 Argon,即日起向 Google AI Pro 和 Ultra 订阅用户开放。该模型支持 1M 输出 token,可一次完成 100K+ token 推理轨迹、整仓库生成与重构,并称在 CWE-Bench 漏洞修复上以 68% 并列第一,是抗间接提示注入最强的模型。

    推荐理由:原文给出 Argon 在智能体编码、长上下文与安全基准上的对比数据,可据此判断其相对同级模型的位置。

10月13日周二
10月9日周五
  1. Hacker News78

    Hacktron 披露 HEIF Heist:针对 HEIF/AVIF 图像解码器的一类 RCE 攻击路径

    Hacktron 研究团队公布名为 HEIF Heist 的一类远程攻击路径,针对解码攻击者可控 HEIF、HEIC 或 AVIF 图像的服务,可导致内存破坏、数据泄露或远程代码执行。

    推荐理由:Hacktron 披露一类针对 HEIF/AVIF 解码器的攻击路径,涉及多家平台,并给出受影响版本与修复建议。

10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,将文本、代码、图像、视频和音频映射到统一嵌入空间,基于 Gemma 4 架构,采用 Apache 2.0 许可,参数量 7.4 亿。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数据,便于评估本地多模态检索的可行性。

10月6日周二
  1. 科技媒体 RSS78

    Mistral Large 4 上线 OpenRouter 公测:1T 参数、1M 上下文、前两周五折

    Mistral Large 4 已在 OpenRouter 开启公开预览,规格为 1T 参数(49B 激活)、原生多模态、1M 上下文,最高支持 256K 输出。前两周五折,定价为每 1M tokens 输入 $0.68、输出 $2.09,缓存 $0.07。

    推荐理由:Mistral Large 4 在 OpenRouter 开启公测,1T 参数与 1M 上下文的具体规格和限时定价可供选型参考。

  2. 科技媒体 RSS80

    Mistral 发布 Mistral Large 4,1T 参数原生多模态,月底开放权重

    Mistral AI 发布 Mistral Large 4(别名 Le Chonk),采用 1T 参数、49B 激活的原生多模态架构。官方称其在美欧开放权重模型中聚合基准最佳,在网络防御、制造和金融等关键工作负载达到 SOTA,视觉 grounding 上超越闭源前沿模型。该模型现可通过 API 使用,开放权重计划于 10 月底发布。

    推荐理由:Mistral Large 4 给出 1T 参数、49B 激活与原生多模态的规格,并明确 API 可用与月底开放权重的时间点。

9月29日周二
  1. Microsoft Research66

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据联合训练的生物学世界模型,以及连接模型、科学工具、文献与实验人员的交互式 harness 组成。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. Google DeepMind67

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 基础上为原生实时对话模型加入近实时视觉形象,可同时处理视觉与音频输入并输出带表情和口型同步的音视频。

    推荐理由:官方披露了 Live Avatar 的实时音视频对话、异步工具调用与 97 种语言同步能力,可据此判断企业级数字人交互的落地形态。