arXiv cs.AI· Guangyu Feng, Huanzhi Mao, Prabal Dutta, Joseph E. Gonzalez·· 3 天前AI 评分36
AsyncFC：无需改动模型，为 LLM 实现基于 Future 的异步函数调用
Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs
AI 导读
AsyncFC 是一个纯执行层框架，将 LLM 解码与函数执行解耦，在依赖允许时实现解码与执行重叠及函数间并行，无需微调或修改标准同步函数调用协议。在编码任务上，AsyncFC 取得 1.4 倍端到端加速并保持任务准确率。结果还显示，LLM 具备对表示未完成执行结果的符号 Future 进行推理的原生能力。
正文 · AI 翻译
摘要：函数调用（也称为工具使用）是现代 LLM 智能体的核心能力，但通常受限于同步执行语义。在这种语义下，LLM 解码会被阻塞，直到每个函数调用完成，导致端到端延迟不断增加。在这项工作中，我们提出了 AsyncFC，一个纯执行层框架，将 LLM 解码与函数执行解耦，使模型解码与函数执行能够重叠，并在依赖关系允许时实现函数间并行。AsyncFC 叠加在现有模型和未修改的函数实现之上，无需微调，也无需更改标准的同步函数调用协议。在编码任务上，AsyncFC 在保持任务准确率的同时实现了 $1.4\times$ 的端到端加速。此外，这些结果揭示了 LLM 具备一种原生能力，能够对表示未解析执行结果的符号未来进行推理，从而为模型与工具交互实现异步范式。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.15077 [cs.CL] |
| （或使用 arXiv:2605.15077v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.15077 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Guangyu Feng [查看电子邮件]
[v1]
2026年5月14日星期四 17:02:28 UTC（1,121 KB）
[v2]
2026年10月9日星期五 21:26:40 UTC（1,121 KB）
来源：arXiv cs.AI · arxiv.org