研究者提出AlAd对齐压缩模型词嵌入

Rohit Raj Rai、Abhishek Dhaka 与 Amit Awekar 提出一种事后词嵌入对齐适配器 AlAd，用于恢复压缩 Transformer 模型的性能损失。该方法在压缩模型最后一层之后接入一个小型前馈适配器，读取邻近 token 窗口，把压缩模型的 token 嵌入与参考模型对齐。研究者在论文中称，这一对齐过程可提升压缩模型性能，但报道未给出具体任务、压缩率或性能恢复幅度的数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。