arXiv cs.CL· Hanbin Bae, Heejin Choi, Joohyung Lee, Byoung Jin Choi, Sangjun Park, Hoon-Young Cho·· 2 天前AI 评分22
HyCo：面向移动端-云端推测解码的低成本混合草拟方案
HyCo: Hybrid Drafting for Cost-Efficient Mobile-Cloud Speculative Decoding
AI 导读
HyCo 将服务器模型原生多 token 预测（MTP）头的深度草拟放到设备端执行，替代分支则交给一次 SLM 前向，服务器只返回该头所需的隐藏状态、输入嵌入和 KV 条目。
正文 · AI 翻译
摘要：设备-云端投机解码减少了服务器计算量，但在移动神经处理单元（NPU）上，使用小型语言模型（SLM）扩展深度草稿树需要反复执行。我们提出 HyCo，将深度分配给服务器模型原生的多 token 预测（MTP）头，在设备上执行，并将替代分支分配给一次 SLM 执行。服务器返回该头所需的隐藏状态、输入嵌入和键值条目，而不是执行其顺序步骤。量化、受限词汇表和 1K token 窗口使两个草稿器都适配 NPU。一个 {\epsilon} 阈值规则还放宽了对验证器采样分布的精确保持。在通过 LTE/5G 连接 Galaxy S26 Ultra 的单客户端运行中，与服务器端 MTP 自投机相比，HyCo 在 Spec-Bench 上将每个输出 token 的服务器 GPU 时间减少了 38.6%，在 32K token 摘要任务上减少了 29.2%。在相同接受规则下，每个系统三次 Spec-Bench 运行显示，比仅使用 SLM 的草稿器多节省 9.0 个百分点，交付速度快 1.9 倍。HyCo 与 Cloud+MTP 的差异为 +0.2 评审分（配对 95% CI：-0.9 至 +1.3）；探索性翻译更倾向于 SpecEdge-{\epsilon}。在不放宽的情况下，HyCo exact 在两个数据集上分别节省 27.7% 和 11.9%。
| 评论： | 正在 ACL Rolling Review 审稿中（2026 年 10 月） |
| 主题： | 计算与语言（cs.CL）；分布式、并行与集群计算（cs.DC）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21436 [cs.CL] |
| （或 arXiv:2610.21436v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21436 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hanbin Bae [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 07:45:49 UTC（223 KB）
来源：arXiv cs.CL · arxiv.org