arXiv cs.AI· Mustafa Safa Ozdayi, Somin Wadhwa·· 13 小时前AI 评分47
Artifact Distillation：无需训练，把前沿模型能力迁移到小模型
Artifact Distillation: Training-Free Transfer from Frontier to Small Language Models
AI 导读
研究者提出 Artifact Distillation，让教师模型把解题过程外化为可查询的 artifact bank，学生模型在推理时调用、无需梯度更新。
正文 · AI 翻译
摘要：缩小前沿模型与较小语言模型之间的差距通常通过蒸馏来实现：在小模型（学生）上微调前沿模型（教师）的输出，这使迁移受限于训练算力，且迁移的知识在很大程度上是不透明的。我们提出 Artifact Distillation：教师解决训练实例，并将其解题过程外化为一个 artifact bank，学生在推理时查询该库，无需梯度更新。在四个 LiveBench 任务上，由 Claude Opus 4.5 编写的库使 Claude Haiku 4.5 在空间推理上以 60% 的成本优于未借助该库的 Claude Sonnet 4.5（0.707 对 0.647），并在表格连接任务上以 89% 的成本达到 Sonnet 4.5 的水平。同一个原始库将 Qwen3.5-27B 的汇总得分从 0.730 提升到 0.800，表明迁移并不局限于教师所属的模型家族。
| 评论： | 10 页（正文 4 页），2 幅图，3 张表 |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.37680 [cs.CL] |
| （或 arXiv:2610.37680v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37680 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mustafa Safa Ozdayi [查看邮箱]
[v1]
2026 年 10 月 12 日星期一 20:27:04 UTC（68 KB）
来源：arXiv cs.AI · arxiv.org