arXiv cs.AI· Yujie Feng, Xiaobin Wang, Jinluan Yang, Xiaonan Shi, Pengjun Xie, Philip S. Yu, Xiaoming Wu, Jieping Ye·· 2 天前AI 评分31
自我改进智能体的技能-策略协同演化陷阱：CODA 漂移审计协议
Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents
AI 导读
论文指出技能-策略协同演化存在被忽视的脆弱性：现有方法用协同训练时的技能库评估策略，但部署后技能漂移会使策略失效，且漂移敏感度随训练推进而上升。为此提出面向部署的评估协议 CODA，模拟技能漂移并引入语义保持编辑下的一致性率与损坏技能抵抗率两项指标。在四种协同演化方法和五个基准（六种设置）上，最差情况成功率比交付技能库的峰值低 5-13 分，抹去其相对无技能基线增益的 52-93%。
正文 · AI 翻译
摘要：技能-策略协同演化，即智能体的策略模型与其技能库在训练过程中相互提升，是自我改进智能体的一种有前景的范式。当前的评估方法在协同演化后的策略所训练使用的最终技能库（即交付技能库）上对其进行评分。然而，在部署之后，技能的改写、添加或移除可能比策略模型的重新训练更为频繁，导致策略只能在一个漂移的技能库上运行，而这一情况既未被训练目标也未被现有评估协议所涵盖。在本文中，我们首先通过理论与实证分析确立：这一盲点所掩盖的脆弱性并非偶然。这些方法共有的接受规则（协作式接受）将策略的能力与其协同演化时所依赖的技能库绑定，使其在技能漂移后变得脆弱，无论具体实现如何；实证表明，对技能漂移的敏感性随着协同演化训练的推进而增强。因此，我们提出了协同演化漂移审计（CODA），一种面向部署的评估协议，它模拟技能漂移，并在最坏情况漂移下的成功率之外，引入两个新指标：保义编辑下的一致性率和对损坏技能的抵抗率。在四种协同演化方法和五个基准（六种设置）上，最坏情况成功率比每个交付配对所测得的峰值低 5-13 个百分点，抹去了交付技能库相对于无技能基线所获增益的 52-93%。因此，CODA 重新定义了协同演化的目标，从在协同演化技能库上的峰值性能转向无论技能如何演化都能加以利用的能力，并为未来方法提供了一个可供审计的共享标准。
| 评论： | 审稿中 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20845 [cs.AI] |
| （或 arXiv:2610.20845v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20845 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Jinluan Yang [查看邮箱]
[v1]
2026年10月14日星期三 19:29:45 UTC（12,433 KB）
来源：arXiv cs.AI · arxiv.org