arXiv cs.AI· Xuefei Zhang, Ruoqi Wang, Lei Cui·· 10 小时前AI 评分18
Angular Conditional Distillation:解决分类器几何失配的知识蒸馏新方法
Angular Conditional Distillation: Overcoming Classifier Geometry Mismatch
AI 导读
研究者提出 Angular Conditional Distillation(ACD),通过 Angular Coordinate Interface(ACI)以角坐标重建学生分类器、抑制幅度与偏置影响,并用 Scale-Invariant Conditional Distillation(SICD)标准化输出、只迁移条件性非目标关系。
正文 · AI 翻译
摘要:分类器输出为知识蒸馏(KD)提供了一个基础且普遍可用的知识接口。然而,标准 logit 目标将可迁移的语义关系与依赖架构的参数化伪影纠缠在一起,导致分类器几何不匹配,使直接知识迁移不可靠。为解决这一问题,我们提出了角度条件蒸馏(ACD)。首先,角度坐标接口(ACI)使用角度坐标重建学生分类器,抑制幅度和偏置效应,从而提供一个几何兼容的空间。然后,尺度不变条件蒸馏(SICD)对输出进行标准化,并仅迁移条件非目标关系,过滤掉不可迁移的绝对置信度。总之,ACI 定义了在哪里迁移,而 SICD 定义了迁移什么。大量实验表明,ACD 在现有 KD 方法中达到了最先进的性能。此外,作为一种通用的即插即用替代方案,它持续改进现有蒸馏流程,同时无需特征适配器或额外的推理时间成本。代码可在 此 https URL 获取。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23941 [cs.CV] |
| (或 arXiv:2611.23941v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23941 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xuefei Zhang [查看电子邮件]
[v1]
2026年11月18日星期三 06:28:17 UTC(2,345 KB)
来源:arXiv cs.AI · arxiv.org