arXiv cs.AI· Yujia Zhang, Xinqi Ren, Shixiong Zhou, Jia Meng·· 1 天前AI 评分42
Gemma 4 12B 智能体无需教师模型的自进化：规则写入技能，可靠性沉淀到权重
Knowledge in the Harness, Reliability in the Weights: Teacher-Free Co-Evolution of an LLM Agent
AI 导读
基于 Gemma 4 12B 的智能体无需更强教师模型，仅靠自身部署日志与参考结果即可自我改进：每轮由基础模型诊断失败对话并把规则写入按需加载的技能，规则须通过代码检查、反例自审、配对重测和噪声校准验证门。
正文 · AI 翻译
摘要：小型开放模型适合私有客服部署，但在两方面落后于前沿模型：它们会遗漏书面策略在特定情境下的要求，并且对已知内容执行不一致。我们研究此类模型能否仅凭自身部署日志及其参考结果弥合这两个差距，而无需更强的教师模型。我们的起点是一个 Gemma 4 12B 智能体，它从按需技能而非系统提示中读取其领域策略。每一轮中，部署系统处理一批新任务；基础模型诊断失败的对话并将规则写入技能，而一条规则只有通过代码检查、反例自审、配对重测和噪声校准的验证门控后才能保留。随后，强化学习（GRPO）在完整的多轮、使用工具的对话上训练 LoRA 适配器。在 $\tau^2$-bench 的零售和航空领域，未在官方任务上训练或选择的情况下，经过两轮后，该智能体相较此起点在零售领域提升 12.5 个 pass$^1$ 点，在航空领域提升 19.5 个，在 pass$^4$ 上分别提升 18.4 和 22.0 个点。它还超过了基准的参考智能体——后者以相同模型运行，并将完整策略置于系统提示中——在 pass$^1$ 上分别高出 11.8 和 8.0 个点，在 pass$^4$ 上分别高出 22.8 和 16.0 个点，在相同协议下弥合了与三个前沿模型的大部分差距。一个 $2\times2$ 消融实验表明，规则挽救了智能体从未解决的任务，并携带了将规则置于上下文中的强化学习未能内化的策略知识，而训练后的权重使已解决的任务变得可靠。
| 评论： | 18 页，5 幅图，15 张表。代码、数据和运行记录：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.15268 [cs.CL] |
| （或 arXiv:2611.15268v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.15268 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yujia Zhang [查看邮箱]
[v1]
2026 年 11 月 11 日星期三 09:56:09 UTC（85 KB）
来源：arXiv cs.AI · arxiv.org