Octopus：面向潜在 KV 多智能体强化学习的单模型多分支框架

查看 PDF HTML（实验性）

摘要：多智能体 LLM 系统通过生成具有隔离上下文窗口的子智能体来并行探索，而单智能体系统则将每个搜索和验证步骤追加到一条不断增长的轨迹中。然而，现有多智能体框架会在各分支间复制前缀 KV 缓存，通过重新预填充文本摘要来交换发现，并在强化学习（RL）过程中扁平化或丢弃跨分支依赖关系。
我们提出 Octopus，一种单模型多智能体 RL 框架，其中所有线程共享一个主干，并通过五种原语（fork、read_thread、wait_threads、rewind、commit）在驻留 GPU 的 KV 状态有向无环图（DAG）上协调。Octopus 结合了三个协同设计的机制：（1）零拷贝基数分叉（Zero-Copy Radix Forking），将分支生成为共享物理 KV 页上的 $\mathcal{O}(1)$ 游标视图；（2）仅注意力 KV 挂载（Attention-Only KV Mounting），将同级线程的终端 KV 块直接挂载到全注意力层，同时绕过线性循环状态（Gated DeltaNet / Mamba-2），将任务劫持减少 $21\times$（$57.9\% \to 2.7\%$），同时在零额外 KV 分配的情况下保留 $92.2\%$ 的全文互信息；（3）打包 DAG-GRPO 训练器（Packed DAG-GRPO Trainer），将所有回合分支打包为一次块稀疏注意力传递，并通过留一分支边际奖励为反事实分支分配信用。
在 Qwen3.5-4B 上使用 GRPO 在稀疏 BM25 语料库上进行端到端训练，Octopus 在 BrowseComp-Plus 上达到 $49.6\%$ 的准确率（在 143K 上下文下比单智能体 GRPO 高 $+17.5$ 分，比文本摘要多智能体 RL 高 $+12.5$ 分），在 OpenResearcher 上达到 $51.2\%$，优于规模高达 $250\times$ 的稠密检索智能体，同时将训练吞吐量提高 $3.3\times$，并将峰值 KV 内存降低 $2.8\times$。

评论：	19 页，12 张图，7 张表
主题：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2611.06956 [cs.LG]
	（或此版本的 arXiv:2611.06956v1 [cs.LG]）
	https://doi.org/10.48550/arXiv.2611.06956 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Tommy Sha [查看邮箱]
[v1] 2026 年 11 月 3 日星期二 22:42:25 UTC（2,416 KB）