arXiv cs.AI· Kai Tang, Xing Zheng, Haobo Wang, Guangcheng Zhu, Shenzhi Yang, Zhengqing Zang, Yingfan Ma, Bowen Song, Weiqiang Wang·· 11 小时前AI 评分27
SimOPD：通过响应相似度实现 on-policy 蒸馏的关系型知识迁移
SimOPD: Relational Knowledge Transfer for On-Policy Distillation
AI 导读
SimOPD 提出用响应相似度迁移教师模型内部知识，让学生模型在自身表示空间内匹配教师给出的相似度分布，无需跨模型投影。在同架构与跨架构设置下，其整体平均成绩分别比最强基线最高提升 2.6 和 3.1 个百分点。该方法使用学生生成响应的成对记忆库提取监督信号，避免直接隐状态匹配带来的特征空间偏移问题。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）的一个关键挑战是从教师知识中提取有效的监督信号。来自 token 概率的监督可能未充分利用内部知识，而直接进行隐藏状态匹配会迫使学生模型转向教师模型的特征空间，并使跨架构迁移变得复杂。受对比学习利用实例间关系的启发，我们提出 \textbf{SimOPD}，通过响应相似度来迁移教师的内部知识。具体而言，SimOPD 使用由学生生成的响应构成的配对记忆库，从教师的内部表示中提取相似度分布作为监督信号。随后，学生模型在自身的表示空间内匹配这些分布，从而保留表示自由度，并无需跨模型投影。大量实验表明，在同架构和跨架构设置下，SimOPD 相比最强基线将总体平均值分别提升了最多 2.6 和 3.1 个百分点。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23306 [cs.AI] |
| （或 arXiv:2610.23306v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23306 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kai Tang [查看邮箱]
[v1]
2026年10月16日星期五 11:10:21 UTC（453 KB）
来源：arXiv cs.AI · arxiv.org