arXiv cs.CL· Nan Jiang, Panagiotis Theodoropoulos, Wei Deng·· 6 天前AI 评分22
PreSTO：面向快速 LLM Power Sampling 的预测性子树预取
PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling
AI 导读
PreSTO 通过预取未来提议来加速 PowerMH 采样器，且可证明不改变其 MH 转移核。在七个数据集和五个基础 LLM 上，PreSTO 对 PowerMH、EntropyCut 和 MultiTryMH 分别取得 1.71×、1.91× 和 2.33× 的中位加速，前两者模型调用次数中位数减少 3.9×，每次调用仅延长 2.1×。
正文 · AI 翻译
摘要：Power sampling 通过在测试时从基座模型分布的锐化版本中采样，提升大语言模型（LLM）的推理能力。其采样器 PowerMH 速度较慢，因为其 Metropolis--Hastings（MH）更新是串行的：每个接受/拒绝决策都会设定生成下一个提议所依据的状态。先前的工作通过改变采样器或模型（例如序列蒙特卡洛、近似前瞻、蒸馏）来降低这一成本。我们提出 Predictive SubTree Prefetching（PreSTO），它通过预取未来的提议来加速 PowerMH，并可证明地保持其 MH 转移核不变。PreSTO 将未来的 MH 结果视为一棵接受/拒绝决策树：在每次模型调用中，它一次性批量生成该树中一个 \textit{预取子树} 的提议，然后按照原始 MH 接受规则沿实际实现的路径前进。我们还观察到，MH 仅到达每个预取子树中稀疏的、近乎单链的部分，因此我们进一步设计了一种 \textit{预测式遍历规则}，通过选择子树来最大化预测的已完成转移数量。在七个数据集和五个基座 LLM 上，PreSTO 在 PowerMH 及其后续方法 EntropyCut 和 MultiTryMH 上分别实现了 $1.71\times$、$1.91\times$ 和 $2.33\times$ 的中位加速；在前两者上，它将模型调用次数中位数减少 $3.9\times$，而每次调用仅延长 $2.1\times$。在 Qwen3.5-9B 上的 LCB V6 中，预测式遍历规则比默认的广度优先遍历进一步快 $1.25\times$--$1.37\times$。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13171 [cs.CL] |
| （或 arXiv:2610.13171v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13171 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Nan Jiang [查看邮箱]
[v1]
2026年10月9日星期五 07:58:06 UTC（2,788 KB）
来源：arXiv cs.CL · arxiv.org