arXiv cs.AI· Shuo Yuan, Dacheng Li, Joseph E. Gonzalez·· 12 小时前AI 评分47
D-Skill：通过智能体技能蒸馏教师知识
D-Skill: Distilling Teacher Knowledge through Agent Skills
AI 导读
D-Skill 框架将教师模型视为黑盒，通过分析配对轨迹中的行为差异与一致，把教师的行为优势蒸馏为可解释的自然语言技能文档，在推理时提供给小模型，全程无需权重更新。
正文 · AI 翻译
摘要：前沿语言模型智能体在复杂任务上表现出色，但高昂的推理成本使得将其能力迁移到更小的模型上变得至关重要。传统知识蒸馏通过参数更新实现这一点，需要访问学生模型的权重并消耗额外的训练算力，同时将迁移的知识隐式地编码在参数中。我们提出 D-Skill，这是一个将教师模型视为黑盒的框架，通过分析成对的轨迹并识别行为差异与一致之处，将其行为优势蒸馏为可解释的自然语言技能。由此得到的经验在离线状态下整合，借助任何兼容的技能更新后端，形成一份技能文档，在推理时提供给学生模型。D-Skill 完全离线地从固定轨迹构建技能，无需标签、无需进一步的环境交互，也无需在轨迹收集后进行权重更新。在 SpreadsheetBench-Verified、ALFWorld 以及国际象棋谜题上，跨多组教师-学生模型对，D-Skill 在不触碰模型权重的情况下弥合了 75%-95% 的教师-学生差距。在对成对轨迹进行一次离线遍历后，D-Skill 优于单轮 SFT 基线，并与多轮 SFT 保持竞争力。在同一模型系列下，所得学生模型每项任务的推理成本也比教师模型低 5.7 倍至 8.3 倍。我们的结果表明，自然语言技能蒸馏为基于权重的能力迁移提供了一种高性能、可解释且高效的替代方案。
| 评论： | 21 页，4 幅图，9 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28914 [cs.AI] |
| （或 arXiv:2610.28914v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28914 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuo Yuan [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 20:52:03 UTC（195 KB）
来源：arXiv cs.AI · arxiv.org