门控知识蒸馏在孟加拉语任务未显优势

Dipto Sumit 等作者提交的论文测试了 EWAD 与 CHAD 两种门控知识蒸馏方法在孟加拉语生成任务上的效果，结论是门控机制并未带来优势：在六个孟加拉语任务、三个 60M 至约 2B 参数的学生模型和两类教师模型上，45 组对比中没有任何一种门控显著优于普通知识蒸馏。 作者称，这一结论仅适用于以孟加拉语为中心的任务和小规模学生模型。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。