arXiv cs.AI· Sumanyu Muku·· 10 天前AI 评分41
并行编码智能体的协调验证:NP-Bench 与调度规划器
Verifying Coordination in Parallel Coding Agents: NP-Bench and a Scheduling Planner
AI 导读
研究团队提出将并行 LLM 编码智能体的协调问题重构为调度问题,通过预先划分工作项声明的范围并沿生产者→消费者图排序合并,在 Nerveplane 中实现该规划器。
正文 · AI 翻译
摘要:一支由编码智能体组成的团队可能逐个来看都表现良好,但作为一个团队却会失败:每个智能体都能通过自己的测试,而合并后的结果却是坏的,而单智能体评估永远无法发现这一点。当团队在同一个代码库上并行运行多个 LLM 编码智能体时,智能体之间会发生冲突:两个智能体重写同一个函数,一个智能体按照队友刚刚更改的契约编写代码,工作完成后集成失败。大多数协调工具都是被动反应式的(监测冲突,然后发出警告),但在智能体的速度下,警告到来时浪费的编辑已经发生。我们将该问题重新表述为调度问题:获取每个工作项声明的范围,将工作划分为互不相交的范围,并沿着生产者->消费者图预先安排合并顺序。我们将此规划器构建到 Nerveplane 中,并用 NP-Bench 对其进行评估,NP-Bench 是一个基于环境的三臂基准(无协调;反应式检测;主动式规划),它基于真实的 git 合并来验证集成,既在确定性模拟中运行,也使用实时智能体运行。该规划器将干净集成率从 1/9 个场景提升到 9/9 个场景,并将合并冲突从 13 个减少到 0 个,且这一差距随着智能体数量的增加而扩大。在一次实时的破坏性契约变更中,它挽救了一个两个基线在每个随机种子上都会错过的结果:干净集成率从 0(无协调和反应式检测)上升到前沿模型上的 1.0 和小模型上的 0.6,同时智能体遵守分配的范围(0/5 泄漏)。跨会话记忆将重复错误率从 1.00 降至 0.00,在强模型和弱模型上都是如此。我们还报告了一个负面结果:将事实路由给智能体并不能在适配窗口的规模上挽救长上下文准确率;其价值在于成本和容量,而非注意力。在两个能力层级和两个供应商上,这一收益并没有随着模型变强而缩小,因为它来自工作的分配方式,而非模型推理。
| Subjects: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.07261 [cs.AI] |
| (或使用 arXiv:2610.07261v1 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2610.07261 arXiv 颁发的 DOI,经由 DataCite(待注册) |
提交历史
来自:Sumanyu Muku [查看电子邮件]
[v1]
2026年10月5日星期一 19:02:27 UTC(25 KB)
来源:arXiv cs.AI · arxiv.org