Attention Relay：让指令微调 LLM 的注意力迁移到文本嵌入模型

研究者提出 Attention Relay，无需任何训练即可把指令微调 LLM 的注意力权重传递给 Transformer 嵌入模型自身的注意力，从而让嵌入模型获得指令跟随能力。该方法在 Qwen3、Llama 3.1 和 OLMo 3 三个家族的六个指令微调 LLM，以及十个分词器、规模和池化方式各异的常用嵌入模型上进行了验证。