Latent Space 实测 Naive-N0.5-Flash：2,100 tokens/s 宣称下的编码表现如何
Latent Space 实测了 NaiveAI 的开源权重编码模型 Naive-N0.5-Flash，该模型基于小米 MiMo-V2.5（310B 参数 MoE、15B 激活、48T tokens）继续训练约 3.25T tokens 并适配 DeepSeek Sparse Attention。
译文尚不完整，完整内容请切换到原文。
Latent Space· Gabriele Beltramo·2026-11-11 02:56· 1 小时前AI 评分62
NaiveAI 承诺每秒 2,100 个 token。它的编码能力究竟如何？
AI 导读
Latent Space 评测面向编码的开源权重模型 Naive-N0.5-Flash，该模型由 NaiveAI 在小米 MiMo-V2.5（310B 参数 MoE、15B 激活、48T tokens）基础上继续训练约 3.25T tokens 并适配 DeepSeek Sparse Attention。
正文 · 原文
编者按：通过本文，我们推出一个新系列，专注于以无偏评测的方式体验新模型和新产品。欢迎将建议发送至 tips@latent.space。
Naive-N0.5-Flash 是一款全新的开源权重模型，专为AI 编码任务打造，并针对尽可能高的每秒 token 生成量进行了调优。它由一家名为 NaiveAI 的中国公司开发，目标是加速工程与研究流程，让团队能够更快地实验、迭代并解决复杂问题。
该模型是 小米 MiMo-V2.5 的演进版本，NaiveAI 对其进行了面向长上下文推理的进一步训练，并搭配自研的 NaiveRT 推理引擎。Naive-N0.5-Flash 提出了一个大胆的主张：一个主要由 AI 构建、并被训练用于自身开展 AI 研究的模型，以递归自我改进为长期目标。
要了解变化所在，先要知道它的起点。MiMo-V2.5 是一个 310B 参数的稀疏混合专家模型，激活参数 15B，训练数据为 48T tokens。其语言主干继承了 MiMo-V2-Flash 的混合设计，将滑动窗口注意力（SWA）与全局自注意力相结合。
NaiveAI 的方案从这些权重出发。通过持续的多阶段训练，团队将该检查点适配到 DeepSeek Sparse Attention 层。根据 NaiveAI 技术博客，这在 MiMo 原有的 48T 基础上又消耗了约 3.25T tokens。其中约 3T 额外 token 是在固定 1M 上下文长度和恒定学习率下训练的。
NaiveAI 与 DeepSeek、Z.ai 的基准对比
我们将 Naive-N0.5-Flash 的超快模式与 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 进行了基准对比，然后给三者相同的应用构建提示词。
我们发现，代价是Naive-N0.5-Flash 在较难问题上推理耗时更长，但整体上仍能更快给出答案。不过，这会导致每个问题的成本略高——对于速度优先的应用而言，这或许是可以接受的价格。
截至 2026 年 10 月底 OpenRouter 上最受欢迎的模型。
DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 是 OpenRouter 上最受欢迎的两个模型。二者均属于 Flash 模型类别，在AI 辅助编码方面展现出卓越能力。
截至本文撰写时，Artificial Analysis 上尚无 NaiveAI 模型的性能统计数据。因此，我们报告对比中所用模型的 Intelligence Index 分数：
模型 Intelligence Index
DeepSeek V4.1 Flash 1017 (Max)：45
GLM-5.3-Flash：43
Naive-N0.5-Flash：尚不可用
已公布的基准结果可在一定程度上反映新模型的能力。它们将其编码能力排在两个对比模型之间，并在 NL2Repo-Bench 上领先于两者。
下表展示了各模型官方模型卡和技术博客中报告的基准测试分数。来源：GLM-5.3-Flash – 技术博客、DeepSeek V4.1 Flash 1017 – 模型卡、Naive AI – 研究。
模型 | NL2Repo-Bench | DeepSWE v1.1 | Agent's Last Exam (ALE) |
GLM-5.3-Flash | 56.3 | 63.4 | 26.3 |
DeepSeek V4.1 Flash 1017 | 68.2 | 77.0 | 35.4 |
Naive-N0.5-Flash | 71.9 | 67.8 | 32.4 |
我们下方的评估将更详细地考察这些模型之间的差异。
速度与冗长度实验
速度是核心卖点。1 NaiveAI 承诺比同类模型更快的研究迭代速度，这对需要快速验证想法的开发者和 AI 研究人员来说很重要。2
我们在三个难度级别上各随机抽取 10 道纯文本问题对每个模型进行评估：10 道来自 MATH-500 的简单题、10 道来自 GPQA-Diamond 的中等题，以及 10 道来自 HLE-Diamond 的难题。这样每个模型共 30 道题。所有实验均使用相同的 256K 最大补全 token 限制。
对于每个请求，我们记录了响应速度（每秒 token 数，TPS）、补全 token 总数以及端到端响应时间。实验代码位于 https://github.com/gbeltramo/llm-verbosity。
下表报告了每种配置下全部 30 次成功请求的均值和 中位数。 吞吐量数据来自不同来源：DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 来自 OpenRouter，Naive-N0.5-Flash 来自服务器端测量。比较时应注意这一点。
图表由 Gabriele Beltramo 制作
关键观察
Naive-N0.5-Flash 报告了异常高的吞吐量，在两种思考配置下均接近或超过每秒 1,000 个 token。由于其数据来自服务器端，而其他模型的数据来自 OpenRouter，我们不声称其相对 DeepSeek V4.1 Flash 1017 或 GLM 5.3 Flash 有精确的速度倍数。
思考对冗长度有很大影响。 在较难的 HLE 问题上，开启思考的 Naive-N0.5-Flash 平均约产生 108,500 个补全 token，约为 GLM 5.3 Flash（high）平均值的九倍，以及 DeepSeek V4.1 Flash 1017（high）平均值的 11 倍。
中位数与均值呈现出不同的情况。 在全部 30 道题中，开启思考的 Naive-N0.5-Flash 补全 token 中位数约为 3,200，远低于其超过 51,000 的平均值。少数请求产生了异常长的推理轨迹，拉高了平均值。其他模型中也出现了同样的模式，只是不那么明显。
表中还包含端到端响应时间，这是判断速度更公平的依据。 Naive-N0.5-Flash（思考）的中位问题耗时为 3.1 秒，而 GLM 5.3 Flash（high）为 5.3 秒，DeepSeek V4.1 Flash 1017（high）为 10.1 秒。均值则更为接近：Naive-N0.5-Flash 为 45.3 秒，DeepSeek V4.1 Flash 1017 为 45.0 秒，GLM 5.3 Flash 为 86.9 秒。在难题上，Naive-N0.5-Flash（思考）的平均速度慢于 DeepSeek V4.1 Flash 1017（high），分别为 89.8 秒和 79.7 秒。
有两点需要注意。样本量较小，每个难度级别仅 10 道题，且我们未对答案准确性进行评分。简短快速的回复只有在正确时才有用。
应用实验
我们还要求各模型根据相同的初始提示构建相同的 Web 应用。我们测试了六种模型与思考强度的组合，括号内为思考强度：
Naive-N0.5-Flash（无思考）
Naive-N0.5-Flash（思考）
DeepSeek V4.1 Flash 1017（低）
DeepSeek V4.1 Flash 1017（高）
GLM 5.3 Flash（低）
GLM 5.3 Flash（高）
应用画廊已上线。简而言之，这三个提示要求六种模型变体完成以下任务：
创建地球与太阳系的交互式 3D 视图。
从带种子的随机生成器生长出一棵 3D 树，树枝逐渐变细并分叉，有数千片树叶，以及树皮和树叶纹理。
将《Ray Tracing in One Weekend》一书移植到浏览器。
下面我们嵌入了各模型思考变体的结果。
Naive-N0.5-Flash（思考）
地球与太阳系；Naive-N0.5-Flash（思考）
3D 树；Naive-N0.5-Flash（思考）
Ray Tracing in One Weekend；Naive-N0.5-Flash（思考）
DeepSeek V4.1 Flash 1017（高）
地球与太阳系；DeepSeek V4.1 Flash 1017（高）
3D 树；DeepSeek V4.1 Flash 1017（高）
Ray Tracing in One Weekend；DeepSeek V4.1 Flash 1017（高）
GLM 5.3 Flash（高）
地球与太阳系；GLM 5.3 Flash（高）
3D 树；GLM 5.3 Flash（高）
Ray Tracing in One Weekend；GLM 5.3 Flash（高）
太阳系
第一个应用是地球与太阳系的交互式 3D 视图。观看者可以让相机围绕场景旋转，观察行星绕太阳运行，并可通过控件加快或减慢它们的运动。所有表面均由生成的纹理绘制，不使用任何图像文件。
Naive-N0.5-Flash（思考）在三个结果中表现最佳。它的太阳显示出太阳黑子，地球的暗面在夜晚闪烁着城市灯光。
DeepSeek V4.1 Flash 1017（高）紧随其后。其版本缺少小行星带，地球的纹理细节也较少。
GLM 5.3 Flash（高）在光照上出了问题，导致行星难以区分。它的速度控制也过于灵敏，轻轻一调就会让行星飞速运行或缓慢爬行。
树木建模
第二个应用从带种子的随机生成器生长出一棵 3D 树，树枝逐渐变细并分叉，有数千片树叶，以及树皮和树叶纹理。风吹动树枝摇曳、树叶飘动，草地上移动的阴影也随之变化。树矗立在天空渐变和薄雾之下。控制面板可调整种子、分枝深度、树叶数量、风力强度和方向以及太阳位置。还有一个切换到秋季色彩的开关，角落处设有帧率计数器。
DeepSeek V4.1 Flash 1017（高）和Naive-N0.5-Flash（思考）都产生了良好的结果。令人意外的是关闭思考的 Naive-N0.5-Flash，它完全没有生成可用的应用。
良好的结果在风动画中仍有小瑕疵。在 DeepSeek V4.1 Flash 1017（高）应用中，细枝在强风中可能与母枝分离，看起来像在漂浮。效果很细微，但确实存在。
这个问题在GLM 5.3 Flash（高）应用中更容易看到。当风力强度调高时，整棵树开始变形摇晃，像地震中的果冻雕塑。
Ray Tracing in One Weekend
The third app is a browser port of the book Ray Tracing in One Weekend. It renders the book's cover scene: a vast gray ground, a scatter of small matte, metallic and glass spheres, and three large spheres in the center. One is glass, one a brown matte and one a polished metal. Depth of field blurs the foreground and background. The image builds up progressively on screen, with a progress bar, elapsed time and a rays-per-second estimate. A menu offers the book's earlier milestone scenes. The user can pick a quality preset and download the result as a PNG.
在这个更偏重编码的场景中，三个开启思考模式的模型都生成了可用的应用。
DeepSeek V4.1 Flash 1017 (high) 胜出，因为它的光线追踪器是三者中最高效的。它还利用屏幕的整个宽度来显示渲染图像。
Naive-N0.5-Flash (thinking) 应用是正确的，但其 JavaScript 效率较低。
GLM 5.3 Flash (high) 再次是最弱的。其速度与 Naive-N0.5-Flash 应用相似，但界面更基础。
定价
Naive 将 N0.5-Flash 定位为一款能力强、成本低的模型。目标价格为每百万输入 token 0.10 美元、每百万输出 token 0.40 美元、每百万缓存读取 token 0.01 美元。
这使其处于每百万输出 token 0.20 至 0.60 美元的区间，该区间由多款能力出色的 Flash 模型占据，包括我们对比的另外两款。
最终账单还取决于模型使用的 token 数量。这又取决于所请求的思考预算和问题的难度。
要点
在超快模式下，Naive-N0.5-Flash 的峰值可达每秒约 2,000 个 token，并在思考密集型任务中持续接近 1,000 个。
在我们的测试中，在高思考设置下，其中位响应时间比 GLM 5.3 Flash 和 DeepSeek V4.1 Flash 1017 短数倍。平均时间与 DeepSeek V4.1 Flash 1017 相似。
在复杂任务上，它消耗的思考 token 远多于另外两个模型。在简单和中等问题上，它始终回复更快。
在应用中，Naive-N0.5-Flash 比 GLM 5.3 Flash (high) 稳定得多。开启思考后，它也能与 DeepSeek V4.1 Flash 1017 抗衡。它构建了最详细的太阳系应用，在树模型上与 DeepSeek V4.1 Flash 1017 并列，在光线追踪器效率上以微弱差距位居第二。
对于重视快速迭代而非 token 经济性的开发者来说，这种速度是尝试 Naive-N0.5-Flash 的主要原因。
Naive-N0.5-Flash 的速度依赖于高效的推测解码草稿模型和自定义推理引擎。所报告的解码速度是在单个八 GPU Blackwell 节点上运行 NaiveRT 中的推测解码时测得的。草稿模型为 Naive-N0.5-Flash-FP8-Draft，该配置针对单流解码延迟而非批处理吞吐量进行了调优。
实际速度取决于目标模型每轮接受的草稿 token 数量。这随检查点对、提示、上下文长度、采样设置和生成内容而变化。所报告的数字清楚地表明了这一点：
- 接受率：禁用思考时为 70.6%，但启用思考时仅为 43.4%。
- 解码速度：思考阶段约为 984 tokens/s，回答阶段为 1,816 tokens/s。
- 峰值速率：单秒内约为 2,100 tokens/s。请将其视为上限，而非典型速率。
引擎与草稿模型同样重要。开发者报告称，一个完整的推测轮次（草稿、验证、采样和提交）在 NaiveRT 中耗时 3.4 ms，而在 SGLang 中为 12.3 ms，降低了 72.4%。禁用思考的测试中，每轮耗时约 3.45 ms。完整测量数据见 NaiveRT: Performance。
对强化学习的影响：生成自回归 rollout 是大规模强化学习的主要瓶颈。任何能降低解码成本的方法——例如这里采用的稀疏注意力（DSA）——都会让 rollout 更便宜。将其他模型适配到 DSA 上，可能让这一循环的效率显著提高，并加速前沿研究。
这与 Naive AI 更大的愿景相符：一个能够自我改进的 AI，可以优化自身的推理 CUDA 内核，并为大规模强化学习训练采用最高效的架构。
来源：Latent Space · latent.space
来源：RadarAI · aihot.news