arXiv cs.AI· Wei Yang, Shawn Li, Yuehan Qin, Yawei Wang, Mingxi Wang, Shixuan Li, Tiankai Yang, Jiate Li, Jesse Thomason, Xuezhe Ma, Yue Zhao·· 9 天前AI 评分24
SynCo：基于多智能体强化学习的自进化 LLM 数据合成协同训练框架
SynCo: Data Synthesis Co-Training for Self-Evolving LLMs via Multi-Agent Reinforcement Learning
AI 导读
SynCo 是一个基于多智能体强化学习的智能体数据合成协同训练框架，联合优化 Synthesizer 与 Reasoner 两个独立参数化智能体，让任务求解策略与其训练分布共同演化。
正文 · AI 翻译
作者：Wei Yang、Shawn Li、Yuehan Qin、Yawei Wang、Mingxi Wang、Shixuan Li、Tiankai Yang、Jiate Li、Jesse Thomason、Xuezhe Ma、Yue Zhao
摘要：自进化 LLM 智能体有望通过持续交互与学习实现自主改进，减少对手工整理监督的依赖。要实现这一前景，不仅需要更新智能体，还需要随着其能力变化而演化其训练经验。然而，大多数现有流程依赖静态数据集或单独更新的合成模型，导致先前有用的任务变得过于简单，而过于困难的任务则始终无法提供有效信息。智能体能力与训练经验之间日益加剧的失配限制了持续自我改进。为解决这一问题，我们提出 SynCo，一个基于多智能体强化学习的自进化 LLM 智能体式数据合成协同训练框架。SynCo 联合优化两个独立参数化的智能体：一个 Synthesizer，根据 Reasoner 不断演进的能力状态构建训练任务；以及一个 Reasoner，从由此产生的经验中学习。每个合成任务都会引发 Reasoner 的多次 rollout，其结果向两个智能体提供互补的奖励。正确性反馈改进 Reasoner，而任务质量、答案可靠性和基于结果的可教性则指导 Synthesizer。它们的更新被反馈到后续合成轮次中，使任务求解策略及其训练分布能够共同演化。在八个数学推理基准上的大量实验表明，SynCo 显著优于广泛的现有合成数据方法和受控基线，取得了最强的整体性能，且其大部分收益来自此前未解决的问题。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11345 [cs.AI] |
| （或 arXiv:2610.11345v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11345 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Wei Yang [查看电子邮件]
[v1]
2026年10月8日星期四 06:40:18 UTC（2,693 KB）
来源：arXiv cs.AI · arxiv.org