arXiv cs.AI· Xingguang Ji, Ziqiang Dong, Yubo Zhang, Xi Leng, Ninghua Yan, Yang Yang, Guanjun Jiang·· 1 天前AI 评分34
SkillDuet：通过响应反馈实现模型与技能协同进化
SkillDuet: Co-Evolving Models and Skills through Response Feedback
AI 导读
SkillDuet 框架通过模型响应反馈协调参数更新与技能进化，用基于响应的 Strength 分数筛选技能并定期合并为全局技能集。基于 Qwen3-4B，其在 ALFWorld 和 WebShop 上分别达到 98.57% 和 92.97% 的成功率，超过 SEED-API 基线 2.86 和 5.47 个百分点。消融实验显示，基于响应的技能选择与 Global 合并均能提升任务表现。
正文 · AI 翻译
摘要：在强化学习过程中，经验既可以内化到 LLM 参数中，也可以作为可复用的文本技能保留在外部。参数更新会改变模型的行为以及从中提取新技能的交互经验。这些技能反过来又指导模型后续的交互和参数更新。随着模型能力的发展，先前有益的技能可能变得冗余或有害。我们提出 SkillDuet，一个通过模型响应反馈来协调参数更新与技能演化的框架。从同策略轨迹中提取的技能在每一步通过 OPD 指导参数更新。基于响应的分数 Strength 根据候选技能对当前模型响应所引起变化的幅度对其进行排序，得分最高的技能会被定期整合到一个持久的全局技能集（Global）中。更新后的模型与 Global 共同指导后续交互，为进一步的参数和技能更新生成经验。在 Qwen3-4B 上，SkillDuet 在 ALFWorld 上达到 98.57% 的成功率，在 WebShop 上达到 92.97%，分别比匹配的 SEED-API 基线高出 2.86 和 5.47 个百分点。消融实验表明，基于响应的技能选择和 Global 整合提升了任务性能。进一步实验表明，保留技能带来的收益既取决于其内容，也取决于其与模型的兼容性。SkillDuet 为模型-技能协同演化和技能级递归自我改进提供了一种具体机制。
| 评论： | 21 页，8 张图 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.12109 [cs.AI] |
| （或 arXiv:2611.12109v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.12109 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ji Xingguang [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 09:23:26 UTC（3,439 KB）
[v2]
2026 年 11 月 12 日星期四 07:04:21 UTC（3,439 KB）
来源：arXiv cs.AI · arxiv.org