arXiv cs.AI· Zhi-Kai Chen, Song-Yan Li, De-Chuan Zhan, Han-Jia Ye·· 10 天前AI 评分29
SchemaFill：通过槽位并行推测解码实现高效 LLM 工具调用
SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding
AI 导读
SchemaFill 是一个通过槽位并行推测解码实现高效 LLM 工具调用的框架，可并发生成未来槽位值作为候选，无需预先知道实际调用序列或参数值，候选经目标模型在实际输出前缀下验证后才提交。在 Glaive 和 BFCL 上，SchemaFill 相比自回归解码端到端吞吐量最高提升 4.05 倍。
正文 · AI 翻译
摘要：LLM 智能体通过生成结构化工具调用来与外部系统交互。给定用户请求、对话上下文和工具模式目录，工具调用模型必须选择工具并生成其参数，可能在单次响应中产生多个调用。标准的自回归解码逐 token 生成这些调用，对于涉及多个调用或大量参数字段的请求会造成显著延迟。显式的参数结构为并行生成提供了机会，但后续参数值可能依赖于前面的字段和调用，因此独立生成的值可能与目标模型的输出不同。我们提出 SchemaFill，一个通过槽位并行推测解码实现高效 LLM 工具调用的框架。SchemaFill 并发地生成未来槽位值作为候选，无需预先知道实际调用序列或参数值。跨多个字段和调用的候选被拼接起来，由目标模型在实际输出前缀下进行验证。只有通过验证的 token 才会被提交，当候选不一致时由目标模型提供修正。这在利用槽位和调用间并行性的同时应用了目标验证。在 Glaive 和 BFCL 上，SchemaFill 相比自回归解码实现了高达 4.05$\times$ 的端到端吞吐量提升。代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07086 [cs.LG] |
| （或 arXiv:2610.07086v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07086 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhikai Chen [查看邮箱]
[v1]
2026年10月5日星期一 12:22:34 UTC（1,388 KB）
来源：arXiv cs.AI · arxiv.org