arXiv cs.CL· Xun Sun, Thanh Thi Nguyen, Thuy-Trang Vu·· 12 小时前AI 评分34
HERD：面向持续学习的 harness 演化递归蒸馏框架
HERD: Harness-Evolving Recursive Distillation for Continual Learning
AI 导读
HERD 是一个混合持续学习框架，在 harness 侧持续精炼技能并保留技能未能覆盖的高残差样本，在参数侧用双锚点做漂移约束蒸馏，从而把经验内化为累积能力。在 TRACE+17 的 25 阶段任务流上，固定内存与算力预算下，HERD 的新任务获取能力追平最强参数化基线，同时遗忘最少、通用能力保持最强。
正文 · AI 翻译
摘要：持续学习要求模型不断获取新技能和新知识，同时不损害其已有能力。参数化方法会遭受灾难性遗忘和可塑性丧失。非参数化方法，如提示、技能和 harness，利用上下文学习，但受限于上下文长度和有损的纯文本压缩。为了有效结合二者互补的优势，我们提出 HERD（Harness-Evolving Recursive Distillation，harness 演化递归蒸馏），这是一个混合式持续学习框架，它在 harness 中高效学习，并通过蒸馏将经验内化为累积能力。在 harness 一侧，HERD 持续改进其技能以捕捉可复用的模式，同时在有界记忆中保留技能无法捕捉的高残差样本。在参数一侧，HERD 使用双锚点执行漂移约束蒸馏，大幅减少长递归运行中的遗忘。在 TRACE+17 的 25 阶段任务流上，在固定的内存和计算预算下，HERD 在新任务获取方面与最强的参数化基线相当，同时表现出最少的遗忘和最强的一般能力保持。
| 评论： | 22 页，9 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.31401 [cs.CL] |
| （或 arXiv:2610.31401v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31401 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xun Sun [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 15:03:20 UTC（628 KB）
来源：arXiv cs.CL · arxiv.org