arXiv cs.AI· Tiejin Chen, Maunil Vyas, Huaiyuan Yao, Hua Wei·· 1 天前AI 评分34
将引导向量用作 LLM 后训练的训练信号
Steering Vectors as a Training Signal in LLM Post-Training
AI 导读
研究提出把引导向量（SVs）从推理时的后置控制手段转为后训练阶段的训练信号，在 SFT、蒸馏和 RLVR 中验证其有效性。监督设置下 SV 注入优于普通 SFT 与蒸馏，从 thinking-mode 教师蒸馏时提升最高达 12%，且跨三个随机种子稳定。RL 中将正确性对比方向用于错误 rollout 的优势修复，可恢复零梯度全错组的学习信号并迁移至留出数学基准。
正文 · AI 翻译
摘要：引导向量（SVs）是残差流方向，在推理时将其加到隐藏状态上可改变 LLM 的行为。以往工作主要将 SVs 用作事后控制，我们则探究相同的方向是否也能在训练后阶段引导参数更新。我们在监督学习（包括 SFT 和蒸馏）以及带可验证奖励的强化学习（RLVR）中研究这一问题。我们的框架考虑两种干预机制：教师强制监督训练期间的隐藏状态钩子，以及 GRPO 中对错误 rollout 的优势修复机制。对每种机制，我们分析三个设计轴，即引导方向、其放置位置，以及用于将其与训练结合的操作。在监督设置中，SV 注入优于普通 SFT 和蒸馏，增益随离策略差距增大而增大，当从思考模式教师蒸馏时提升最高可达 $12\%$。这些增益在三个随机种子下均成立。在 RL 设置中，将正确性对比方向作为优势修复应用于错误 rollout（包括原本零梯度的全错组），可恢复一种学习信号，该信号可迁移到留出数学基准，并作为一种可组合的辅助信号，叠加到现有的零方差补救措施（如熵感知优势塑造）之上。我们进一步识别出三个失效边界。具体而言，代码生成可能破坏方向，跨家族层迁移可能破坏放置位置，在经 SV 训练的检查点上进行推理时应用可能破坏干预机制。总之，这些结果确立了引导向量作为 LLM 训练后阶段一种有条件但有效的训练信号。我们的代码可在此处获取。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40998 [cs.LG] |
| （或 arXiv:2610.40998v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40998 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tiejin Chen [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 21:28:51 UTC（3,109 KB）
来源：arXiv cs.AI · arxiv.org