arXiv cs.CL· Zehao Lin, Qianfeng Shen, Xixuan Hao, Shaobo Cui, Chunyu Li, Kai Chen, Bo Tang, Zhenjun Wang, Jin Yan, Zhiyu Li, Feiyu Xiong·· 12 小时前AI 评分31
将自回归 LLM 控制编译为策略精确的并行推理，用于分层 RAG
Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG
AI 导读
研究者提出把分层 RAG 中 LLM 的串行语法约束解码编译为并行推理：一次根节点 prefill 加一次树因果探针即可评估所有前缀条件下的动作分布，在精确算术下与串行策略完全一致，关键路径仅两次前向、输出 token 为零。
正文 · AI 翻译
作者：Zehao Lin、Qianfeng Shen、Xixuan Hao、Shaobo Cui、Chunyu Li、Kai Chen、Bo Tang、Zhenjun Wang、Jin Yan、Zhiyu Li、Feiyu Xiong
摘要：大语言模型越来越多地在结构化决策流水线中充当控制器，但其决策仍由自回归文本解码执行。分层 RAG 就是这样一个场景：在文档树的每个前沿，LLM 依据输入相关的动作文法，从 $k$ 个章节中选定 $b$ 个，其执行方式要么是易出错的自由形式 JSON，要么是可靠但严格串行的文法约束生成。我们证明，对于有界时域控制，这种串行化并非必要：可达的未来构成一棵浅层动作前缀树，我们将其编译——一次根预填充加一次树因果探测，即可用串行解码的 token、位置和因果祖先关系，评估每个以前缀为条件的动作分布。一个前缀状态引理使编译后的控制在精确算术下与策略完全一致：同一策略，两遍前向的关键路径，零输出 token。再经过一次探测即可认证精确的按序边缘化 MAP 集合。在四个文档不相交的划分和主 MetaX 设备上的两个规模下，编译控制与串行策略在 $84$--$89\%$ 的问题上一致——所有被检测到的分歧都是浮点近似平局——并且相比逐 token 串行解码将控制延迟降低 $35$--$47\%$，相比理想化的分块引擎降低 $6$--$7\%$；在 H800 上的重复实验保持了这一排序。
| 评论： | 5 页，2 图，1 表 |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.30664 [cs.CL] |
| （或 arXiv:2610.30664v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30664 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zehao Lin [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 03:25:21 UTC（183 KB）
来源：arXiv cs.CL · arxiv.org