arXiv cs.AI· Haomiao Qiu, Yining Tang, Hongyi Wan, Changfeng Sun, Ziyue Qiao, Miao Zhang·· 3 天前AI 评分26
当技能仍在但访问失败：面向持续技能内化的因子化技能记忆
When Skills Remain But Access Fails: Factorized Skill Memory for Continual Skill Internalization
AI 导读
研究揭示持续技能内化存在两阶段遗忘：先失去从原始请求调用旧技能的能力（技能寻址遗忘），仅提供正确技能名可恢复；进一步训练后连条件执行也退化（技能执行遗忘）。
正文 · AI 翻译
摘要：技能内化旨在将外部指定的程序性技能转化为持久的模型能力，使语言模型智能体在推理时无需检索或重新注入技能描述即可执行这些技能。然而，当持续学习新技能时，先前已内化的技能是否仍然可用，目前仍知之甚少。我们研究了持续技能内化中的遗忘问题，并揭示出一个清晰的分层结构。在后续训练的早期，模型可能失去从原始请求调用旧技能的能力，而仅提供正确的规范技能名称即可大幅恢复已学习的行为；随着进一步优化，这种条件执行也会退化。我们将这两个阶段称为技能寻址遗忘和技能执行遗忘。基于这一发现，我们提出了因子化技能记忆（FSM），它将持续技能记忆分离为可塑的地址记忆和稳定的执行记忆。在每个阶段，FSM 仅使用当前阶段的数据训练一个新的 LoRA 执行器，在习得后将其冻结，并将其追加到执行记忆中；同时，地址记忆逐步学习将当前请求映射到执行器，而无需重放历史请求或执行轨迹。在推理时，地址记忆从原始请求中选择一个执行器，仅由该冻结的执行器执行一次语言模型生成。在基于 100 个 TaskBench 技能构建的五阶段基准上，FSM 在两种任务顺序下实现了 65.95% 的平均精确匹配和 93.38% 的寻址准确率，比最强的无重放参数隔离基线高出 14.3 个百分点，同时与保留历史训练样本的 Replay 相差在 1.9 个百分点以内。
| 评论： | 预印本 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15492 [cs.AI] |
| （或 arXiv:2610.15492v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15492 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Haomiao Qiu [查看邮箱]
[v1]
2026年10月11日星期日 09:46:32 UTC（931 KB）
来源：arXiv cs.AI · arxiv.org