arXiv cs.CL· Rohit Raj Rai, Abhishek Dhaka, Amit Awekar·· 2 天前AI 评分22
用事后嵌入对齐提升压缩 Transformer 性能
Improving the Performance of Compressed Transformers with Post-Hoc Embedding Alignment
AI 导读
研究者提出 Alignment Adapter（AlAd），在压缩模型最后一层后读取邻近 token 窗口，将压缩模型的 token 嵌入与参考模型对齐，从而恢复压缩带来的性能损失。
正文 · AI 翻译
摘要：模型压缩对于在资源受限环境中部署 transformer 模型是必要的。然而，压缩会降低 transformer 模型在下游任务上的性能。现有解决方案如知识蒸馏（KD）和参数高效微调（PEFT）各有其局限性。KD 在教师的监督下训练学生模型，但需要教师的训练流程。PEFT 方法如 LoRA 使模型适应新任务，但它们不能恢复压缩造成的损失。我们的直觉是，可以通过将压缩模型的 token 嵌入与性能更好的参考模型的 token 嵌入对齐来改进压缩模型。我们通过在压缩模型最后一层之后放置一个小型前馈对齐适配器（AlAd）来学习这种对齐。AlAd 读取相邻 token 的窗口，因此可以使用局部上下文。AlAd 是在压缩模型生成之后进行事后训练的。压缩模型可以保持冻结，也可以与 AlAd 联合微调。我们以 BERT-base 作为参考模型，以及 BERT 系列的四个压缩变体，研究了 AlAd 的效果。我们在三个 token 级任务上评估 AlAd：词性标注、命名实体识别和抽取式问答。AlAd 提高了压缩模型在所有三个任务上的性能。联合微调带来更大的性能提升。模型越小，性能提升越大。AlAd 在压缩模型的效率和性能之间提供了有利的权衡。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2602.14635 [cs.LG] |
| （或此版本的 arXiv:2602.14635v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2602.14635 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Rohit Raj Rai [查看电子邮件]
[v1]
2026年2月16日星期一 10:53:02 UTC（89 KB）
[v2]
2026年10月25日星期日 10:13:57 UTC（95 KB）
来源：arXiv cs.CL · arxiv.org