Baseten 发布 3B 以下决策模型 joey-1，2,000-token 请求 P50 延迟 20 ms

Baseten 工程博客·2026-10-30 01:24· 40 分钟前AI 评分55

以一分钱做决策：推出 joey-1，我们最快的决策模型

AI 导读

Baseten Base Labs 发布决策模型 joey-1，直接以单 token 和校准概率返回决策结果，称内部测试中为 3B 及以下参数最强决策模型。2,000-token 请求 P50 端到端延迟 20 ms，约比 elephant-1（49 ms）快 2.5 倍，价格为每百万 token $0.01、是 mammoth-1 的十分之一。

正文 · 原文

许多 LLM 用例并不需要生成文本，它们需要的是决策：

• 这张工单应该分到哪里？

• 这条消息应该被标记吗？

• 这个请求应该被批准吗？

LLM 历来通过生成文本来回答这些问题，这会给每次调用增加成本和延迟，而这种开销会在链条中的每个决策上不断累积。决策模型直接以单个 token 和校准概率分数返回答案，大幅降低成本和延迟。

如今 LLM 形态和规模各异，从全尺寸模型到 flash 和 fast 变体，因为每个工作负载对智能、速度和成本的权衡都不同。决策模型也应如此。借助 joey-1，Base Labs 决策模型系列现已覆盖三种规模。发布时，每一款都是其权重级别中最具能力的模型之一，接受文本和图像输入，并以高成本效益和低延迟为设计目标。

在我们的内部测试中（详情即将公布），joey-1 是 3B 及以下参数中最强的决策模型。在生产规模下，joey-1 处理平均 2,000-token 请求的 P50 端到端延迟为 20 ms，约比 elephant-1（49 ms）快 2.5 倍。价格为每百万 token $0.01，成本也是 mammoth-1 的十分之一。

我们的研究和后训练团队将持续改进这些模型并扩展该系列，让你为需要做出的每个决策都能找到合适的模型。joey-1 现已在 Baseten Model APIs 上提供，开放权重位于 Hugging Face。

这个 LLM 工作负载应该改用决策模型吗？ 

决策模型在一次前向传播中返回一个标签（决策）以及该标签的置信度分数。具体到 joey-1，当满足以下条件时，值得将 LLM 工作负载迁移过来：

• 决策量很大，因此每次调用的成本决定项目是否经济可行。

• 你需要做出的决策是其他环节的前置条件，这意味着它的延迟会加到每个响应上。

作为参考，每月对 1,000 万张支持工单进行分类，每张约 500 token，即 50 亿 token，在 joey-1 上每月约 $50，而在 mammoth-1 上为 $500。joey-1 是一个可靠的一线模型，可让工作负载保持快速和成本高效，同时当 joey-1 不确定时，你仍可使用 elephant-1 或 mammoth-1 等更重的模型作为升级路径。

Base Labs 决策模型系列

这三款模型均由 Base Labs 在相同的数据混合上训练，并共享相同的 API，因此在它们之间切换只需改一行代码。这使得该系列成为一套统一的工具包，而非三个独立的选择：mammoth-1 用于准确性最重要的决策，elephant-1 作为均衡的默认选择，joey-1 用于高容量、延迟敏感、速度和成本优先的调用。

这些模型会随时间不断改进。我们的内部研究实验室 Base Labs 会在相同的 API 下持续发布更新的权重和新能力。每次发布都会上线 Baseten Model APIs，并由我们的模型性能团队针对高吞吐量和成本高效的推理进行优化，因此你的工作负载无需任何集成变更即可受益于每一项改进。

✕

Artificial Analysis（内部复刻版）

从模型 API 到自有权重

joey-1 由我们的研究实验室 Base Labs 基于 Qwen3.5-2B 进行后训练，使用与 elephant-1 和 mammoth-1 相同的数据和配方，并借助 Baseten Training Jobs 完成。

三个模型均可在 Model APIs 上使用，也支持专用部署。在 Model APIs 上，这些模型支持 16k 上下文窗口，并针对低延迟工作负载进行了优化。

专用部署可解锁完整的 262k 上下文窗口，支持微调权重，并可通过针对工作负载的优化以及与你的 LLM 工作负载同址部署，实现更快的 TTFT 和 TPS。

要创建你自己的微调权重，elephant-1 和 joey-1 可在 Training Jobs 上进行后训练。请参阅我们的微调指南开始使用。

试用 joey-1

joey-1 已在 Baseten Model APIs 上线，默认零数据保留，权重已在 Hugging Face 上开放。快来试试吧。

来源：Baseten 工程博客 · baseten.co