inclusionAI 发布 Ling-3.0-tiny 投机解码草稿模型 Ling3-Tiny-UBTree-B16

蚂蚁 inclusionAI：HuggingFace 新模型·2026-10-21 21:49· 2 小时前AI 评分31

inclusionAI/Ling-3.0-tiny-UBTree

AI 导读

inclusionAI 发布 Ling3-Tiny-UBTree-B16，这是为 Ling-3.0-tiny 配套的 UBTree 投机解码草稿模型，采用 5 层 DFlash 主干加学习式 bigram 选择器，参数量 183.1M、BF16 权重、草稿块大小 16。

正文 · 原文

Ling3-Tiny-UBTree-B16

论文 · 目标模型

Ling3-Tiny-UBTree-B16 是用于 inclusionAI/Ling-3.0-tiny 的 UBTree 投机解码草稿模型。它将 五层 DFlash 主干与学习式 bigram 选择器相结合，为目标模型验证提出多个 候选续写。

SGLang 集成——敬请期待！ 我们针对 Ling3 的 UBTree 适配尚未 发布到开源 SGLang 社区。公开安装 说明和服务配方将在可用时添加于此。

此检查点需与匹配的目标模型配合使用；它不能作为 独立的文本生成模型提供服务。

UBTree 工作原理

UBTree 流水线

UBTree 将 unigram 提议器 与 bigram 选择器 配对：

1. DFlash 主干并行地为未来位置提议候选 token。
2. 选择器并行地为相邻候选之间的转移打分。
3. 树构建在验证预算内保留有希望的分支。
4. 目标模型验证该树并提交被接受的续写。

论文还引入了树原生训练，对高温目标轨迹采用重归一化 KL 监督， 鼓励合理的替代分支。 方法及实验详见论文。

模型规格

参数数量涵盖本仓库中分布的张量。草稿 与目标模型共享 token 嵌入和语言模型头；这些 共享权重未包含在此。B16 表示草稿块大小，而非 验证树的节点预算。

使用 SGLang 提供服务

SGLang 中对 Ling3 的 UBTree 支持即将推出。一旦集成公开可用，我们将分享安装 说明和服务示例。 敬请期待！

基准测试结果

此检查点的结果将添加于此。TBD 表示尚未报告。

接受长度是每个验证步骤提交的平均 token 数， 包括目标 token。加速比是在相同硬件、输入和解码设置下， 相对于仅目标模型自回归解码测得的。 运行时版本、树预算、并发数和计时协议将 与结果一同报告。

引用

如果您在工作中使用 UBTree，请引用：

@article{liang2026ubtree,
  title   = {UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding},
  author  = {Liang, Chumeng and Wang, Linxuan and Peng, Xinyu and Liu, Huabin and Chen, Yuxin and Liu, Ge and Lin, Guang and Song, Qifan and Li, Jianguo},
  journal = {arXiv preprint arXiv:2609.39972},
  year    = {2026},
  url     = {https://arxiv.org/abs/2609.39972}
}

许可证

模型权重依据 MIT License 发布。流程图来自 Liang et al., Figure 2，在 CC BY 4.0 下未经修改地转载。

来源：蚂蚁 inclusionAI：HuggingFace 新模型 · huggingface.co