arXiv cs.AI· Boyuan Yang, Wei Gao·· 3 天前AI 评分31
SchemaWeaver：用 schema 引导并行解码加速端侧移动智能体 AI
SchemaWeaver: Accelerating On-Device Mobile Agentic AI via Schema-Guided Parallel LLM Decoding
AI 导读
SchemaWeaver 是一种端侧移动智能体 AI 技术，在 LLM 工具调用的解码阶段引入 schema 引导的并行解码，每次解码生成多个 token 以降低延迟。它无需训练或修改 LLM 即可通用接入移动端推理引擎，在主流移动 SoC 和 LLM 系列上实测工具调用延迟最高降低 3.9 倍。
正文 · AI 翻译
摘要：移动设备上的大语言模型（LLM）可以作为调用外部软件工具以完成复杂任务的智能体，但用 LLM 支持端侧移动智能体 AI 的主要挑战在于移动设备上 LLM 工具调用的高延迟。特别是，解码阶段是造成这种高延迟的主要因素，但由于其受限于内存带宽而非算力，在移动处理器上很难加速。为解决这一局限，本文提出 SchemaWeaver，一种新的端侧移动智能体 AI 技术，在 LLM 工具调用的解码阶段强制执行模式引导的并行解码，通过在每次解码过程中生成多个 token 来降低其延迟。SchemaWeaver 可以通用地应用于移动设备上的 LLM 推理引擎，无需任何训练工作或对 LLM 进行修改，我们在主流移动 SoC 和 LLM 系列上的实验结果表明，与有竞争力的基线相比，SchemaWeaver 可将 LLM 工具调用延迟最多降低 3.9 倍。
| 评论： | 16 页，14 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.17436 [cs.AI] |
| （或 arXiv:2610.17436v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17436 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Boyuan Yang [查看邮箱]
[v1]
2026年10月12日星期一 21:53:20 UTC（624 KB）
来源：arXiv cs.AI · arxiv.org