跳到正文
arXiv cs.AI· Simon Yu, Nicholas Tomlin, Marwa Abdulhai, Ximing Lu, Derek Chong, Abe Hou, Dilara Soylu, Sergey Levine, Christopher D. Manning, Weiyan Shi·· 4 小时前AI 评分49

单一冻结模拟器不够:多智能体 RL 中的模拟器坍缩问题

One Frozen Simulator Is Not Enough: Simulator Collapse in Multi-Agent RL

AI 导读

研究发现,用单个 LLM 模拟用户来训练多智能体强化学习智能体会导致"模拟器坍缩",习得的策略难以泛化到未见模拟器和真实用户。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:用于人机交互的多智能体强化学习(MARL)通常让智能体与一个模拟用户的大型语言模型(LLM)进行对抗训练。我们表明,以这种方式训练的智能体可能系统性地无法泛化,并将这一失败归因于模拟器坍缩:模拟器 LLM 处于模式坍缩状态,针对它训练的策略会学到利用模拟器模式行为的狭窄策略;这些策略难以迁移到未见过的模拟器和真实用户。我们对这种坍缩进行了形式化,并提出两种解决方案。Verbalized Sampling 在推理时应用,从语言化的响应分布中采样每个模拟器回复。Co-Training 在训练期间应用,类似于自我博弈,让模拟器与策略共同演化,因此策略无法利用模式行为。一种群体变体在每次 rollout 时从近期检查点池中采样模拟器。我们在三个基准上验证了这两种解决方案:Persuasion for Good、tau^2-bench 和 CooperBench。Verbalized Sampling 相比单模拟器 RL 将留出成功率最多提升 9%,Co-Training 进一步将增益提升至 14%;人类研究显示在真实用户上也有类似增益。这两种解决方案还保留了在单模拟器 RL 下会坍缩的策略多样性。总体而言,我们关于模拟器坍缩的发现表明,多样化的模拟器是服务真实用户的 RL 智能体的一项要求。我们发布了 SCOPE,这是一个用于多智能体 RL 中群体协同训练的开源框架。
评论: 44 页,29 张图
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2608.12253 [cs.CL]
  (或 arXiv:2608.12253v3 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2608.12253

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Simon Yu [查看邮箱]
[v1] 2026 年 8 月 12 日星期三 16:55:50 UTC(2,528 KB)
[v2] 2026 年 8 月 17 日星期一 17:48:56 UTC(2,548 KB)
[v3] 2026 年 11 月 17 日星期二 07:18:04 UTC(2,507 KB)

来源:arXiv cs.AI · arxiv.org