arXiv cs.AI· Peng Kuang, Haibo Jin, Xiaoyu Han, Yanli Wang, Xiaopeng Yuan, Ye Yu, Kaidi Xu, Haohan Wang·· 10 小时前AI 评分38
KV-PRM：通过 KV-Cache 传输实现多智能体测试时扩展的高效过程奖励建模
KV-PRM: Efficient Process Reward Modeling via KV-Cache Transfer for Multi-Agent Test-Time Scaling
AI 导读
KV-PRM 通过直接读取 LLM 生成阶段产生的 KV cache 完成过程奖励打分，将评分成本从 O(L^2) 降至 O(L)。在 MATH、GSM8K、AIME 上，它在 Beam Search、MCTS、Weighted Voting 等 TTS 方法下持平或优于文本 PRM，评分 FLOPs 最多降低 5,000 倍、延迟降低 37 倍、单序列内存占用降低 34 倍。
正文 · AI 翻译
摘要：过程奖励模型（PRM）已被证明在引导测试时扩展（TTS）方法方面非常有效，这些方法显著提升了基于 LLM 的多智能体系统的能力。然而，现有的 PRM 是基于文本的：它们从头重新编码整个轨迹文本。在长时间的多智能体 rollout 中，评分成本随序列长度 L 呈二次增长，造成了严重的计算瓶颈，极大地限制了 PRM 在长上下文场景中的应用。为解决这一问题，我们提出了 KV-PRM，一种高效的过程奖励模型，它通过直接读取 LLM 生成阶段自然产生的 KV 缓存，消除了繁重的文本重新编码。通过针对已有的 KV 缓存处理单个“验证 token”，KV-PRM 将评分成本从 O(L^2) 降低到 O(L)。我们正式证明了 KV 缓存所包含的信息容量严格大于文本，并且对下游奖励建模更高效。在实证方面，在 MATH、GSM8K 和 AIME 基准上，KV-PRM 在 Beam Search、MCTS 和加权投票等各种 TTS 方法下达到或严格优于文本 PRM，与基于文本的 PRM 相比，评分 FLOPs 最多减少 5,000 倍，延迟最多减少 37 倍，每序列内存占用最多减少 34 倍。
| 评论： | 已被 NeurIPS 2026 接收。27 页，包括附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.09153 [cs.AI] |
| （或此版本的 arXiv:2607.09153v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2607.09153 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Peng Kuang [查看电子邮件]
[v1]
2026年7月10日星期五 07:16:43 UTC（212 KB）
[v2]
2026年11月4日星期三 05:26:47 UTC（235 KB）
来源：arXiv cs.AI · arxiv.org