arXiv cs.AI· Minghe Zhang, Xuetao Kang, Yifei Ming, Yanfei Chen, Han Yu, Yufan Zhuang, Chen-Yu Lee·· 10 小时前AI 评分40
GUARD:用遗憾引导稳定递归自我改进
GUARD: Stabilizing Recursive Self-Improvement with Regret Guidance
AI 导读
GUARD 是一个无需外部评分器的闭环框架,用于自主 AI 智能体的持续 harness 演化。它将任务分解为执行前自检,通过方向性遗憾引导更新,并用 Soft-HURT 门控确保收益大于回退。在记忆、技能演化、持续任务流和领域推理等基准上,GUARD 持续提升性能,避免灾难性遗忘和记忆污染,同时大幅降低部署 token 消耗。
正文 · AI 翻译
摘要:自主 AI 智能体将一个冻结的基础模型与一套可编辑的提示词、技能、工具规则和记忆框架相配对。递归自我改进(RSI)无需更新权重即可从经验中调整这一框架,然而在没有外部评分器的情况下进行自我编辑往往会适得其反:反思与标量分数会将一次编辑新引入的破坏与仍未解决的问题混为一谈,从而导致局部性能回退、技能遗忘和记忆膨胀。我们提出 GUARD(无评分器的无监督环境设计 [UED] 与自适应规则蒸馏),这是一个用于无参考持续框架演化的闭环框架。我们的关键洞见是将每个任务分解为执行前的自检,并通过方向性遗憾来引导框架更新。每一轮都依据这些检查对轨迹进行评分,固定已掌握的规则,同时优先处理新出现的破坏行为,并通过无评论家的组相对适应度在并行的候选编辑中进行选择。随后,Soft-HURT 门控仅在收益大于回退时才提升某项编辑,将专门修复限定在特定范围内以防止过度触发,并保证在其门控缓冲区上不发生回退。在测试时,一个冻结的框架以单次通过方式运行。在记忆、技能演化、持续任务流和领域推理等基准测试中,GUARD 持续提升性能,且不会出现灾难性遗忘或记忆污染,同时大幅削减部署时的 token 用量。
| 评论: | 同等贡献:Minghe Zhang 和 Xuetao Kang。38 页,8 张图,13 张表 |
| 主题: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.23476 [cs.AI] |
| (或使用 arXiv:2611.23476v1 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2611.23476 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Minghe Zhang [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 20:26:34 UTC(508 KB)
来源:arXiv cs.AI · arxiv.org