vLLM Semantic Router 发布开源多模态决策模型 Decision 3.0，共 5 个尺寸
vLLM Semantic Router 团队发布 Decision 3.0 系列开源多模态决策模型，含 d3-lite（0.85B）到 d3（26.09B）共 5 个尺寸，全部采用 Apache-2.0 许可。
MarkTechPost· Michal Sutter·2026-10-12 05:43· 1 小时前AI 评分50
什么是 Decision 3.0？vLLM Semantic Router 的新开源决策模型
AI 导读
vLLM Semantic Router 团队发布 Decision 3.0 系列开源决策模型，读取文本、JSON 和图片，返回概率而非生成文本，全部采用 Apache-2.0 许可。
正文
vLLM Semantic Router 团队发布了 Decision 3.0，一个多模态决策模型系列。Decision 3.0 多模态决策模型读取文本、JSON 和图片，然后回答关于它们的类型化问题。共有 5 种规模，从 0.8B 到 27B，全部采用 Apache-2.0 许可。对开发者而言，这是一种无需解析生成文本即可对请求进行分类、路由和门控的快速方式。
TL;DR
- 规模：5 个模型：d3-lite（0.85B）、d3-nano（2.21B）、d3-mini（4.54B）、d3-flash（8.39B）、d3（26.09B）。上下文长度：未披露。
- 运行于：延迟在 1 块 AMD Instinct MI325X GPU 上测量。BF16 权重；未列出官方量化变体。
- 性能：27B 的 d3 在其模型卡中的文本和视觉表格中均领先，但基于内部评估。
- 最佳：KIE（CORD+FUNSD）文档抽取上达 97.7（d3）。
- 最差：R-Bench-M 上为 34.1（d3）。
- Bottom line:
- 最佳：9B 模型现在击败了上一代的 27B。
- 最差：分数为自报，对照实时榜单数据。
什么是 Decision 3.0？
Decision 3.0 是来自 vLLM Semantic Router 的一组开源决策模型，返回概率而非文本。你传入一个状态（文本或 JSON）、可选图片和命名问题。每个问题是一个 Choice、一个 Yes/No 或一个量表上的 Score。模型在一次调用中回答所有问题，并为每个答案返回一个概率。
这是路由器和护栏的“系统一”模式。无需提示 LLM 并解析其输出，你得到的是可以设定阈值的校准分数。
d3 如何工作？
每个模型都是 Qwen 基座的微调。27B 的 d3 基于 Qwen3.8-27B 构建。较小的 4 个基于 0.8B、2B、4B 和 9B 的 Qwen3.5 检查点构建。
每种规模都带有视觉编码器：d3-lite 中为 0.10B，d3-nano 和 d3-mini 中为 0.33B，d3-flash 和 d3 中为 0.46B。请求接受多张 PNG、JPEG 或 WebP 图片，每张读取最高 1.6 兆像素。每个问题都能看到所有图片。
每个问题都会对输入进行各自的前向传播。安装目标为 transformers==5.17.0，可选的 flash-linear-attention 包可加速线性注意力层。加载需要 trust_remote_code=True。
Decision 3.0 在基准测试上表现如何？
通过模型卡，研究团队声明了 Jev Decision Index 0.3.1，这是一个对 TypeSafe 的 Jev 决策系统开源复现进行排名的榜单。d3 的数字是团队的内部评估。
在文本上，d3 得分为 64.1，领先于 Perplexity Decider v1.1（62.8）和 Jev（60.1）。一个注意事项：Torchcast Decision 27B 在公开套件上得分更高（65.1 对 64.9）。在视觉榜单上，d3 得分为 71.6，而 Perplexity Decider v1.1 为 70.6。
规模的故事是最强的部分。d3-flash（9B）得分为 59.0，高于 Decision 2.0 的 27B 的 55.9。在公开套件上，相较 Decision 2.0 的提升从 +8.0（27B）到 +15.1（0.8B）不等。
不过，类别领先并不统一：
- d3-mini（4B）和 d3-flash（9B）在各自的文本和视觉表格中均领先。
- d3-lite（0.8B）在文本上领先，但在视觉上排名第3（41.1，落后于JPT-0.8B的42.1）。
- d3-nano（2B）在其视觉表中领先，但在文本上落后于LiquidAI d1-3B（35.8 vs 40.1）。
在公开视觉任务上，d3在InfographicVQA上得分97.3，在Mind2Web上得分89.9，两者均为近似重建。它在MMMU-Pro视觉（46.2）和Hateful Memes审核（44.6）上较弱。
这些模型有多快？
以下中位数是在1块AMD Instinct MI325X上、每次1个请求、按每张卡计算：
- d3-nano：文本21.7毫秒，带图像92.0毫秒
- d3-lite：文本23.5毫秒，带图像60.7毫秒
- d3-mini：文本28.5毫秒，带图像115.0毫秒
- d3-flash：文本29.7毫秒，带图像171.8毫秒
- d3：文本84毫秒，带图像342毫秒
所有模型均在AMD Instinct MI325X GPU上训练。
d3与其他决策模型相比如何？
| 特性 | d3（vLLM SR） | Perplexity Decider v1.1 | Decision 2.0 Vega-27B | LiquidAI d1-3B |
|---|---|---|---|---|
| 参数 | 26.09B | 26B（HF列表） | 29.37B | 3.12B |
| 基础模型 | Qwen3.8-27B | Qwen3.8-27B | Qwen3.8-27B | LFM2.5-VL-3B |
| 输入 | 文本、JSON、图像 | 文本、图像 | 文本、JSON | 文本、JSON、图像 |
| 上下文 | 未披露 | 每次决策8,192个token | 32,768个token | 32,768个token |
| 许可证 | Apache-2.0 | Apache-2.0 | Apache-2.0 | LFM 1.0 |
| 决策指数（自有卡） | 64.1（v0.3.1，内部） | 61.56（未注明版本） | 56.5（v0.2.1） | 48.57（v0.2.1） |
| Index 0.3.1榜单（按d3卡） | 64.1 | 62.8 | 55.9 | 40.1 |
| 视觉榜单0.3.1 | 71.6 | 70.6 | 未披露（仅文本） | 未披露 |
| 中位延迟（自有卡） | 文本84毫秒，1块MI325X | 未披露 | 71.4毫秒，1块GPU | 9毫秒，1块MI325X |
关键要点
- 5个Apache-2.0决策模型，从0.8B到27B，均支持图像输入。
- d3（27B）在内部评估中位居其文本（64.1）和视觉（71.6）榜单榜首。
- 9B的d3-flash（59.0）击败Decision 2.0的27B（55.9）。
- 0.8B和2B模型并非在每个榜单上都领先。
- 在1块MI325X上，文本中位延迟为21.7至84毫秒。
查看Hugging Face合集、d3模型卡以及vLLM Semantic Router GitHub仓库。所有功劳归于该项目的研究者。另外，欢迎在Twitter上关注我们，别忘了加入我们的150k+ ML SubReddit并订阅我们的新闻通讯。等等！你在Telegram上吗？现在你也可以在Telegram上加入我们。
文章What is Decision 3.0? vLLM Semantic Router’s New Open Decision Models首发于MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news