Mistral 发布万亿参数开源权重模型 Mistral Large 4（Le Chonk）

首页 » Mistral 的 Le Chonk 携万亿参数登场——还有要证明的东西

Mistral 的新万亿参数模型问世之际，企业不仅在权衡 AI 性能，还在权衡控制权、成本以及对专有平台的依赖。

谁不喜欢一只胖乎乎的橘猫到处捣乱呢？我当然喜欢。数百万人一致认为，虽然他们可能不喜欢 AI，但他们喜欢法国 AI 公司 Mistral 公开预览的 Mistral Large 4，绰号“Le Chonk”。这只胖猫带来了一个万亿参数的开源权重大型语言模型（LLM），专为编程、网络安全、视觉分析和企业智能体打造。

在深入技术层面之前，Le Chonk 有两点是其他 AI 模型所不具备的。首先，Mistral 有理由声称自己是最顶尖的主权 AI。这让它对美国以外的市场更具吸引力。Mistral 还明确表示，虽然 Le Chonk 将走向世界各地，但它也将提供欧洲部署，由该公司端到端运营，独立于其他数字服务提供商，并受欧洲法律管辖。

我正在布拉格参加 Open Source Summit Europe，欧洲的每个人——每个人——都想要数字主权。希望掌控自己 AI 基础设施的政府和企业，已经发现 Le Chonk 比另一个声称在基准测试中拔得头筹的聊天机器人更有意思。正如 Reddit 上一条热门评论所说，这对欧洲模型来说是一次重大（且重要）的飞跃。

正如 Mistral 联合创始人兼首席科学家 Guillaume Lample 对《连线》所说：“有时，人们喜欢在美国、欧洲和中国之间大做文章。但真正重要的是拥有模型——即使对美国公司也是如此，”Lample 说。“如果你使用闭源模型，就无法保证它明天还在。”

其次，虽然其权重尚未公布，其许可证也未被认可为开源。尽管如此，仅凭对开放权重的支持，许多人就已经对它感到兴奋。事实上，我们已经看到开放权重模型正在抢占越来越多的市场份额，因为它们的成本低于前沿模型。

那中国的开放权重模型呢？在接受路透社采访时，Mistral CEO Artur Mensch 表示：“我们今天真正发布的模型在某些方面实际上优于中国模型……欧洲无法竞争的说法并不属实。”

转到技术层面，Le Chonk 采用混合专家架构，总参数量为 1 万亿，推理时激活 490 亿。其前代Mistral Large 3总参数量为 6750 亿，激活 410 亿。

不要把激活参数量与模型的部署占用混为一谈。一个万亿参数的模型并不会突然变成 490 亿参数的下载量。Mistral 尚未公布足够的硬件和架构细节，以确定实际自托管需要多少成本。

该公司表示，它在欧洲数据中心使用 3800 块 Nvidia Grace Blackwell GPU 从零开始训练了 ML4。训练数据涵盖 160 多种语言，包括所有欧盟（EU）官方语言。这展现了多语言方面的雄心，但并不能证明它在这些语言上具有同等熟练度。

ML4 还接受多模态输入并生成文本输出。Mistral 强调其理解图表、PDF、工程图纸和卫星图像的能力。这不是生成图片。Mistral 把那个留给 Midjourney。不，它的视觉能力侧重于帮助智能体在图像中定位相关对象。因此，举例来说，它可以在图表或图像中找出某个特定组件以供使用。

Mistral 还声称 Le Chonk 在网络安全方面表现出色。在Artificial Analysis Cyber Index上——这是一项独立评估，衡量 AI 模型在真实软件中发现并修复安全漏洞的能力——该公司表示它“跻身全球前五模型之列，并大幅领先于中国以外开发的开放权重模型。在该指数的一项测试中，要求模型复现开源软件中的真实漏洞并加以修补，ML4 得分 82%，是所有模型中最高的。它还能解决 Cybench 中 93% 的挑战，这是一组取自安全竞赛的 40 道练习，是开放权重模型报告的最高分之一。”

它实际效果如何？我们还不太清楚。它只能通过 API 访问。所有人都能使用的版本要到 10 月下旬才会发布。不过，这只肥猫在早期体验中看起来不错。

其他人对 YComb 的报道从“令人印象深刻的视觉基准测试。如果视觉模型真的像 Astra 一样好，那它将是世界最佳。在网络基准测试上也很强（优于所有中国模型），所以这是一个很好的防御模型”，而另一些人则觉得它太慢。

“总而言之，早期测试者看到了 Mistral 的显著进步，但对于 Le Chonk 是否提供足够的性能和价值来取代现有替代方案，反应存在分歧。”不过我认为，重要的不是 ML4 像前沿模型一样快；而是它是一个开放权重模型，让任何重视隐私和数字主权的人都能拥有一个可以使用并信任的 AI。

页面加载链接

返回顶部