NaiveAI 宣称每秒 2100 token，编程实测表现如何

编者按：通过这篇文章，我们推出一个全新的系列，专注于以无偏见的评测体验新模型和产品。如有建议，请联系 tips@latent.space。

Naive-N0.5-Flash 是一款新的开放权重模型，专为AI 编程任务打造，并经过调优以尽可能每秒生成更多 token。它由一家名为 NaiveAI 的中国公司开发，旨在加速工程和研究工作流，让团队能够更快地实验、迭代并解决复杂问题。

该模型是 小米 MiMo-V2.5 的演进版本，NaiveAI 对其进行了进一步训练以支持长上下文推理，并搭配了自家的 NaiveRT 推理引擎。Naive-N0.5-Flash 带着一个大胆的宣言问世：一个主要由 AI 构建、并被训练去做 AI 研究本身的模型，以递归自我改进为长期目标。

要了解变化所在，先要知道它的起点。MiMo-V2.5 是一个 310B 参数的稀疏混合专家模型，激活参数为 15B，在 48T token 上训练。其语言主干继承了 MiMo-V2-Flash 的混合设计，将滑动窗口注意力（SWA）与全局自注意力相结合。

NaiveAI 的方案从这些权重出发。通过持续的多阶段训练，团队将该检查点适配到 DeepSeek 稀疏注意力层。根据 NaiveAI 技术博客，这在 MiMo 原有的 48T 基础上又消耗了约 3.25T token。其中约 3T 的额外 token 是在固定 1M 上下文长度和恒定学习率下训练的。

NaiveAI 与 DeepSeek、Z.ai 的基准对比

我们将 Naive-N0.5-Flash 的超快模式与 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 进行了基准对比，然后给三者相同的应用构建提示词。

我们发现，代价是 Naive-N0.5-Flash 在较难问题上推理耗时更长，但整体上仍能更快给出答案。不过，这以每个问题略高的成本为代价——对于速度优先的应用而言，这或许是可以接受的价格。

DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 是 OpenRouter 上最受欢迎的两个模型。二者都属于 Flash 模型类别，在AI 辅助编程方面展现出卓越能力。

截至本文撰写时，NaiveAI 模型的性能统计数据尚未在 Artificial Analysis 上提供。因此，我们报告对比中所用模型的智能指数得分：

模型智能指数

• DeepSeek V4.1 Flash 1017（Max）：45

• GLM-5.3-Flash：43

• Naive-N0.5-Flash：尚未提供

已发布的基准结果让我们得以一窥新模型的能力。它们将其编程能力置于两个对比模型之间，并在 NL2Repo-Bench 上领先于两者。 

下表显示了各模型官方模型卡和技术博客中报告的基准得分。来源：GLM-5.3-Flash – 技术博客、DeepSeek V4.1 Flash 1017 – 模型卡、Naive AI – 研究。 

我们下面的评估会更详细地考察这些模型之间的差异。 

速度与冗长度实验

速度是核心卖点。¹ NaiveAI 承诺比同类模型更快的研究迭代速度，这对需要快速验证想法的开发者和 AI 研究者很重要。²

我们在三个难度级别上各随机抽取 10 个纯文本问题，对每个模型进行了评估：10 个来自 MATH-500 的简单问题、10 个来自 GPQA-Diamond 的中等问题，以及 10 个来自 HLE-Diamond 的困难问题。这样每个模型共 30 个问题。所有实验都使用相同的最大补全 token 上限 256K。

对于每个请求，我们记录了响应速度（每秒 token 数，TPS）、补全 token 总数以及端到端响应时间。实验代码位于 https://github.com/gbeltramo/llm-verbosity。

下表报告了每种配置下全部 30 个成功请求的均值和单位数。吞吐量数据来源不同：DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 来自 OpenRouter，Naive-N0.5-Flash 来自服务器端测量。比较时应考虑到这一点。

关键观察

Naive-N0.5-Flash 报告的吞吐量异常高，在两种思考配置下都接近或超过每秒 1,000 个 token。由于其数据来自服务器端，而其他模型的数据来自 OpenRouter，我们不声称相对 DeepSeek V4.1 Flash 1017 或 GLM 5.3 Flash 有精确的速度倍数。

思考对冗长度有很大影响。在困难的 HLE 问题上，开启思考的 Naive-N0.5-Flash 平均约产生 108,500 个补全 token，约为 GLM 5.3 Flash（high）平均值的九倍，是 DeepSeek V4.1 Flash 1017（high）平均值的 11 倍。

单位数与均值呈现出不同的情况。在全部 30 个问题中，开启思考的 Naive-N0.5-Flash 的补全 token 单位数约为 3,200，远低于其超过 51,000 的平均值。少数请求产生了异常长的推理轨迹，拉高了平均值。其他模型中也出现了同样的模式，只是没那么明显。

表中还包含端到端响应时间，这是判断速度更公平的依据。Naive-N0.5-Flash（思考）的问题单位数耗时为 3.1 秒，而 GLM 5.3 Flash（high）为 5.3 秒，DeepSeek V4.1 Flash 1017（high）为 10.1 秒。均值则更接近：Naive-N0.5-Flash 为 45.3 秒，DeepSeek V4.1 Flash 1017 为 45.0 秒，GLM 5.3 Flash 为 86.9 秒。在困难问题上，Naive-N0.5-Flash（思考）平均比 DeepSeek V4.1 Flash 1017（high）更慢，为 89.8 秒对 79.7 秒。

有两点需要注意。样本量较小，每个难度级别只有 10 个问题，而且我们没有对答案准确性进行评分。简短快速的回复只有在正确时才有用。

应用实验

我们还要求各模型根据相同的初始提示构建相同的 Web 应用。我们测试了六种模型与思考强度的组合，思考强度在括号中标注：

• Naive-N0.5-Flash（不思考）

• Naive-N0.5-Flash（思考）

• DeepSeek V4.1 Flash 1017（low）

• DeepSeek V4.1 Flash 1017（high）

• GLM 5.3 Flash（low）

• GLM 5.3 Flash（high）

应用图库已上线。总结来说，这三个提示词要求六个模型变体完成以下任务：

1. 创建一个地球和太阳系的交互式 3D 视图。

2. 用带种子的随机生成器生长一棵 3D 树，树枝逐渐变细并分叉，有数千片树叶，以及树皮和树叶纹理。

3. 将《Ray Tracing in One Weekend》一书移植到浏览器。

下面我们嵌入了各模型思考变体的结果。

Naive-N0.5-Flash（思考）

DeepSeek V4.1 Flash 1017（高）

GLM 5.3 Flash（高）

太阳系

第一个应用是地球和太阳系的交互式 3D 视图。观看者可以让相机围绕场景旋转，观察行星绕太阳运行，并可通过控件加快或减慢它们的运动。每个表面都由生成的纹理绘制，不使用任何图像文件。

Naive-N0.5-Flash（思考）产出了三者中最好的结果。它的太阳显示出太阳黑子，地球的暗面在夜晚闪烁着城市灯光。

DeepSeek V4.1 Flash 1017（高）紧随其后。它的版本缺少小行星带，地球的纹理细节也较少。

GLM 5.3 Flash（高）在光照上出了问题，导致行星难以区分。它的速度控制也过于敏感，轻轻一调就会让行星飞速旋转或缓慢爬行。

树木建模

第二个应用用带种子的随机生成器生长一棵 3D 树，树枝逐渐变细并分叉，有数千片树叶，以及树皮和树叶纹理。风吹动树枝摇曳、树叶飘动，草地上的阴影也随之移动。树矗立在天空渐变和薄雾之下。控制面板可调整种子、分枝深度、树叶数量、风力强度和方向以及太阳位置。还有一个切换到秋色的开关，角落里有帧率计数器。

DeepSeek V4.1 Flash 1017（高）和Naive-N0.5-Flash（思考）都产出了不错的结果。令人意外的是关闭思考的 Naive-N0.5-Flash，它根本没有产出可用的应用。

这些不错的结果在风动画中仍有小瑕疵。在 DeepSeek V4.1 Flash 1017（高）的应用中，细枝在强风中会与母枝脱离，看起来像在漂浮。效果很细微，但确实存在。

这个问题在GLM 5.3 Flash（高）的应用中更容易看到。当风力强度调高时，整棵树开始变形摇晃，像地震中的果冻雕塑。

Ray Tracing in One Weekend

The third app is a browser port of the book Ray Tracing in One Weekend. It renders the book's cover scene: a vast gray ground, a scatter of small matte, metallic and glass spheres, and three large spheres in the center. One is glass, one a brown matte and one a polished metal. Depth of field blurs the foreground and background. The image builds up progressively on screen, with a progress bar, elapsed time and a rays-per-second estimate. A menu offers the book's earlier milestone scenes. The user can pick a quality preset and download the result as a PNG.

在这个更侧重编码的场景中，三个开启思考模式的模型都生成了可用的应用。

DeepSeek V4.1 Flash 1017 (high) 胜出，因为它的光线追踪器是三者中最高效的。它还利用屏幕的整个宽度来显示渲染图像。

Naive-N0.5-Flash (thinking) 应用是正确的，但其 JavaScript 效率较低。

GLM 5.3 Flash (high) 再次是最弱的。它的速度与 Naive-N0.5-Flash 应用相似，但界面更基础。

定价

Naive 将 N0.5-Flash 定位为一款能力强、成本低的模型。目标价格为每百万输入 token 0.10 美元、每百万输出 token 0.40 美元、每百万缓存读取 token 0.01 美元。

这使其处于每百万输出 token 0.20 至 0.60 美元的区间，该区间由几款能力出色的 Flash 模型占据，包括我们对比的两款。

最终账单还将取决于模型使用的 token 数量。这又取决于所请求的思考预算和问题的难度。

要点

在超快模式下，Naive-N0.5-Flash 的峰值可达每秒约 2,000 个 token，并在思考密集型任务中持续接近 1,000 个。

在我们的测试中，其中位响应时间比 GLM 5.3 Flash 和 DeepSeek V4.1 Flash 1017 在高思考设置下短数倍。平均时间与 DeepSeek V4.1 Flash 1017 相似。

在复杂任务上，它花费的思考 token 远多于其他两个模型。在简单和中等问题上，它始终回复更快。

在应用中，Naive-N0.5-Flash 比 GLM 5.3 Flash (high) 稳定得多。开启思考模式后，它也能与 DeepSeek V4.1 Flash 1017 抗衡。它构建了最详细的太阳系应用，在树模型上与 DeepSeek V4.1 Flash 1017 并列，在光线追踪器的效率上以微弱差距位居第二。

对于重视快速迭代而非 token 经济性的开发者来说，这种速度是尝试 Naive-N0.5-Flash 的主要原因。

1

  Naive-N0.5-Flash 的速度依赖于高效的投机解码草稿模型和定制推理引擎。所报告的解码速度是在单个八 GPU Blackwell 节点上运行投机解码于 NaiveRT 中测得的。草稿模型为 Naive-N0.5-Flash-FP8-Draft，该配置针对单流解码延迟而非批量吞吐量进行了调优。

实际达到的速度取决于目标模型每轮接受的草稿令牌数量。这随检查点对、提示、上下文长度、采样设置以及生成内容而变化。报告的数字清楚地表明了这一点：

- 接受率：禁用思考时为 70.6%，但启用思考时仅为 43.4%。
- 解码速度：思考阶段约为 984 令牌/秒，答案阶段为 1,816 令牌/秒。
- 峰值速率：单秒内约为 2,100 令牌/秒。将其视为上限，而非典型速率。

引擎与草稿模型同样重要。开发者报告称，一个完整的投机轮次（草稿、验证、采样和提交）在 NaiveRT 中耗时 3.4 毫秒，而在 SGLang 中为 12.3 毫秒，减少了 72.4%。禁用思考的测试测得每轮约 3.45 毫秒。完整测量结果请参见 NaiveRT: Performance。

2

  对强化学习的影响：生成自回归 rollout 是大规模强化学习的主要瓶颈。任何降低解码成本的方法，例如此处采用的稀疏注意力（DSA），都会使 rollout 更便宜。将其他模型适配到 DSA 可以使该循环显著更高效，并加速前沿研究。

这符合 Naive AI 更大的承诺：一个能够自我改进的 AI，可以优化自身的推理 CUDA 内核，并为大规模强化学习训练采用最高效的架构。