arXiv cs.CL· Bobo Li, Jiajia Song, Hao Fei, Wynne Hsu, Mong Li Lee·· 10 小时前AI 评分35
Flide：用精确状态分叉加速决策推理
Flide: Accelerating Decision Inference with Exact State Forking
AI 导读
Flide 是一个面向决策模型（如 Jev）的精确推理引擎，通过 ForkAttention 在单条扁平 token 流中解耦请求的逻辑树结构与物理执行，保证每个查询分支与独立前向计算完全一致。在公开混合模型与决策模型上，其回答速度最高达 vLLM 和 SGLang 的 9.5 倍，同时总变差距离最接近 float32 参考结果。该引擎还支持从早期检查点恢复不断扩展的智能体历史。
正文 · AI 翻译
摘要：诸如 Jev 之类的决策模型已成为 LLM 智能体系统中极具前景的范式，为快速 System One 执行提供轻量且可靠的分类推理。然而，现有的面向生成的推理引擎无法有效支持这些工作负载，存在严重的前缀重计算开销或输出概率失真问题。为应对这一挑战，我们提出 Flide，一种高效且精确的推理引擎，它将决策请求的逻辑树结构与单一扁平化 token 流中的物理执行解耦。通过 ForkAttention，Flide 在标准注意力和循环 Gated DeltaNet 层中利用驻留 GPU 的索引来导航请求依赖关系，在精确算术下保证每个查询分支的求值结果与独立前向传播完全一致。通过直接在驻留 GPU 的元数据中表达分支拓扑，Flide 以一组紧凑的预录制执行图来适配多样的请求混合，同时使不断扩展的智能体历史能够从先前传递中保存的检查点恢复。在公开混合模型和决策模型上的大量评估表明，Flide 回答查询的速度比 vLLM 和 SGLang 快至多 9.5 倍，同时在总变差距离上最接近 float32 参考值。通过将物理执行吞吐量与数学精确性统一起来，Flide 为智能体系统中可扩展、延迟关键的决策智能奠定了有原则的基础。
| 评论： | 20 页。项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.42148 [cs.CL] |
| （或 arXiv:2610.42148v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42148 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bobo Li [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 17:59:38 UTC（514 KB）
来源：arXiv cs.CL · arxiv.org