arXiv cs.CL· Dipto Sumit, Zobeida Zaman Chowdhury, Syeda Fabiayee Jahan, Farig Sadeque·· 10 小时前AI 评分24
门控知识蒸馏在低资源孟加拉语生成中无效？45 组对比未显著优于普通 KD
Label Smoothing in Disguise? Gated Knowledge Distillation for Low-Resource Bangla Generation
AI 导读
研究测试 EWAD 与 CHAD 两种门控知识蒸馏方法，在六个孟加拉语任务、三个 60M 至约 2B 参数学生模型和两类教师模型上，45 组对比中无一显著优于普通 KD。
正文 · AI 翻译
摘要：门控知识蒸馏（KD）按 token 或样本对教师信号加权，旨在仅在教师看似可靠之处信任不完美的教师。我们测试了两种门控：EWAD（熵加权一致性感知蒸馏），按教师置信度对 token 进行门控；CHAD（反事实危害感知蒸馏），按与验证数据的梯度对齐对样本进行门控。在六项以孟加拉语为中心的任务、三个学生模型（60M 至约 2B 参数）和两个教师系列中，在 45 项比较中没有任何门控显著优于普通 KD。在 40 项单种子比较中，或在四项任务上的三种子运行中，KD 也未能胜过在黄金输出上的交叉熵（CE）微调；CE 在每项摘要指标上都领先。KD 的主要优势是正则化：在十个固定 epoch 中，CE 学生从其早停检查点损失 0.030 至 0.044 token-F1，而蒸馏学生损失 0.005 至 0.025。无教师标签平滑缩小了大部分差距。在一项比较中，教师 token-F1 差 0.29，产生的学生最多差 0.009。因此，门控可能改变正则化强度，但可供选择的教师知识很少。研究结果仅限于以孟加拉语为中心的任务和小型学生模型。我们将发布代码、数据划分、预测和分数。
| 评论： | 18 页，5 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.01065 [cs.CL] |
| （或 arXiv:2611.01065v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01065 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Syeda Fabiayee Jahan [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 16:01:58 UTC（145 KB）
来源：arXiv cs.CL · arxiv.org