研究者提出两阶段蒸馏，将Transformer转为Mamba

Abhinav Moudgil等作者提出一种两阶段跨架构知识蒸馏方案，目标是把Transformer模型的知识迁移到不含Attention模块的Mamba架构。按作者描述，第一阶段先将传统Transformer的知识蒸馏到线性化版本的Attention，借助对核技巧的改造完成；第二阶段再蒸馏到改造版Mamba。 该方案以预印本形式发布在arXiv cs.CL，作者称其为“有原则的两阶段方法”，但报道未给出蒸馏后的性能对比或验证结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。