Inception 发布扩散 LLM Mercury 3，速度超 1000 tokens/s
Inception "Mercury 3", 1000 tok/s diffusion LLM
Inception 发布扩散式 LLM Mercury 3，在 NVIDIA GPU 上达到 1,068 tokens/s，官方称其在一系列基准上超过 GPT-6 Luna 和 Claude Haiku 5.5，且快 4–8 倍。
官方给出 Mercury 3 与前沿速度优化模型的基准对比、1M 上下文和定价，可据此判断扩散 LLM 在低延迟场景的可用性。
今天我们推出 Mercury 3，这是迄今为止发布的最强大的基于扩散的 LLM。在一系列基准测试中，Mercury 3 的表现优于 GPT-6 Luna 和 Claude Haiku 5.5，同时运行速度快 4–8 倍，达到每秒 1,000+ tokens。
Mercury 3 证明了文本扩散可以扩展。它的规模比 Mercury 1 大 40 倍以上，智能程度也大幅提升，但速度同样快。
早期访问合作伙伴已将 Mercury 3 用于语音和聊天支持、实时辅导、数据工程和网页导航：
Mercury 3 概览
质量：与 GPT-6 Luna 和 Claude Haiku 5.5 等前沿速度优化模型持平或更优。
速度：在 NVIDIA GPU 上每秒 1,068 tokens。
上下文：1M tokens，高于 Mercury 2.5 的 260K
价格：每百万输入 tokens 0.20 美元，每百万输出 tokens 0.70 美元。
发布时，Mercury 3 享受 50% 折扣，即每 1M 输入 tokens 0.10 美元、每 1M 输出 tokens 0.35 美元。缓存 tokens 在输入价格基础上再享 90% 折扣。
大规模扩散
当我们推出 Mercury 1 时，它是扩散 LLM 可为商业应用构建的首个证明点。AI 社区当时的未解问题是：扩散 LLM 能否扩展到在复杂用例上与自回归模型竞争。
Mercury 3 回答了这个问题：它们可以。我们将 Mercury 的总参数量扩展了 40 倍以上，在一系列标准基准上的智能水平从 Mercury 1（mini）到 Mercury 3 提升了 3 倍。推动自回归模型进步的缩放定律同样适用于扩散模型。
生产环境中的 Mercury 3
早期访问合作伙伴已在运行 Mercury 3，为浏览器使用智能体、互动教育、实时搜索智能体和客户支持等对延迟敏感的应用提供支持。
浏览器使用智能体
智能体在每一步都要等待模型，因此微小的延迟会迅速累积。无论智能体是在浏览网站、跨来源研究，还是分析日志和追踪事件，Mercury 都能让每一轮保持快速。智能体能更早完成任务，并在给出答案前有时间尝试更多方法。
我们在生产级网页智能体框架内，针对 50 个实时 Mind2Web 导航任务，将 Mercury 3 与前沿模型进行了对比测试。Mercury 3 完成了其中 50%，显著多于 GPT-6.1-Sol。它使用的 token 量和智能体步数与前沿模型相同，但每 token 成本仅为其一小部分。
Shuhao Zhang，TinyFish AI 联合创始人
互动教育
学习依赖快速反馈循环，任何延迟都会让学生脱离学习材料。无论是进行对话的语音辅导、批改作业的助手，还是根据学生刚答错的内容调整下一道题的应用，Mercury 都能对每个请求进行推理并近乎实时地响应。
Mercury 3 让我们能够为每位学生提供即时反馈，同时不牺牲推理能力。提示、批改答案和定义现在约一秒内返回，质量与我们之前运行的模型相当或更好。当学生卡在一道题上时，这种速度能让他们继续思考而不是等待，而且它可以无缝替换我们现有的技术栈。
Michael Tong，General Learning（又名 RevisionDojo）联合创始人/CTO
实时搜索智能体
搜索应用在仅仅几秒延迟后就会开始让人感觉无响应。Mercury 3 运行速度足够快，可以处理数十份文档，并在用户仍保持参与时给出答案。
在智能眼镜上，一个需要五秒才能给出的答案会让人觉得系统坏了。在我们的 Sense API 测试中，Octen 搜索耗时约 80ms；模型生成才是瓶颈。在我们测试过的快速模型中，Mercury 3 在速度与质量之间取得了最佳平衡，生成时间中位数为 0.9 秒，端到端响应时间中位数为 2.2 秒。
Kuan Zou，Octen AI 创始人兼 CEO
客户支持
支持人员必须快速作答，而且往往服务于受监管行业，答错的代价很高。Mercury 让回复保持对话式，同时不牺牲准确性。
在 Lorikeet，我们帮助复杂且受监管的企业为客户构建礼宾服务，覆盖语音、聊天和电子邮件。在聊天和语音场景中，客户需要快速响应，但我们不能在准确性或正确完成任务上妥协。在早期测试中，Mercury 3 在延迟上优于其他模型，同时在评估和生产环境中的表现也更高。
Michael Gribben，Lorikeet 技术团队成员
实时产品组合
Mercury 3 是不断扩大的实时 AI 产品组合中的旗舰模型。
Mercury Voice：Mercury Voice 针对语音应用的极低延迟需求进行了定制，并致力于最小化首个答案 token 的时间（TTFAT），而不仅仅是端到端延迟。它已在 Audivi AI、Altur 和 OpenCall 为智能体提供支持。
Mercury Decide：Mercury Decide 是专为大规模分类构建的决策模型。它在包括 JevBench 和 LegalBench 在内的基准测试中优于 Jev。
开始使用
Mercury 3 现已在 Inception API Platform 上线，并可通过 OpenRouter、Baseten 和 Vercel 使用。它兼容 OpenAI API，因此无需重写即可接入你现有的技术栈。企业部署支持专用容量、自动扩缩容、合规控制和可配置的数据保留。
Mercury 3 已上线。扩散模型正在扩展。
来源：Hacker News · inceptionlabs.ai