arXiv cs.CL· Lin Yao·· 10 小时前AI 评分24
多教师在线策略蒸馏的域路由增量优化（DRD-MOPD）
Domain-Routed Delta Optimization for Multi-Teacher On-Policy Distillation
AI 导读
研究者提出 Domain-Routed Delta Optimization（DRD-MOPD），为多教师在线策略蒸馏中的每个领域样本指定应更新哪些参数组件，学生模型由冻结基座与可训练组件相加构成。
正文 · AI 翻译
摘要：多教师在线策略蒸馏为每个样本分配一个领域教师，但通常更新共享的学生参数。我们提出 Domain-Routed Delta Optimization（DRD-MOPD），它指定每个领域的样本更新哪些参数分量。学生模型是冻结基座与可训练分量之和，可训练分量由专家减基座权重初始化。所有分量参与每次前向传播；四种更新模式定义了样本领域与分量之间的对应关系，每种模式都有独立的优化器状态。我们分析这些更新规则，并通过角度、投影系数和能量来度量原始专家几何的保留程度。此前的工作如 Open-MOPD 直接从基座模型蒸馏；其发布的最终检查点中，97.02% 的增量能量位于原始专家方向张成空间之外。相比之下，我们的 Own 检查点在 20 次更新后，沿每个分量原始方向的系数接近 1，两两角度范围为 88.04 至 92.41 度；其导出的 BF16 学生模型增量有 4.90% 的外部能量，而保存的 FP32 分量之和为 10.52%。同一检查点在六个基准上取得 32.72% 的宏平均分数，而其初始任务算术合并为 32.44%。这些测量描述了在评估的训练阶段和设置下的几何与能力。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13249 [cs.LG] |
| （或 arXiv:2611.13249v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13249 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lin Yao [查看邮箱]
[v1]
2026年11月9日星期一 21:21:41 UTC（75 KB）
来源：arXiv cs.CL · arxiv.org