arXiv cs.AI· Ran Li, Lei Chen·· 10 天前AI 评分24
冻结语言模型技能注入新方法：低秩激活引导的决策算子
Learning to Decide, Not to Reason: Parameter-Efficient Decision Operators via Low-Rank Activation Steering
AI 导读
研究者提出一种通过行为克隆训练的 System-1 决策算子，默认版本仅用 330K 参数即匹配 1.33M 参数的强化学习算子，并将 3,685-token 的推理压缩为 6-token 决策且不损失准确率。
正文 · AI 翻译
摘要：向冻结的语言模型中注入技能目前需要一百万个参数和一条强化学习流水线。我们提出 \method{}，一种通过行为克隆训练的系统 1 决策算子，将这一成本降低约两个数量级。默认算子使用 33 万参数即可匹配一个用强化学习训练的 133 万参数算子，达到或超过相当的性能，同时将 3685 个 token 的深思熟虑压缩为 6 个 token 的决策，且准确率无损。一个 2.3 万参数的秩 4 变体，仅为已发表最强技能算子的 1/58，足以应对 SearchQA，并近乎足以应对 LiveMath，而在后者中更高秩仍有帮助；同一配方可跨五个任务和三个骨干网络迁移，且分布外增益在训练数月后发布的 LiveMath 问题上依然存在。与先前工作的差距在于可训练性，而它由初始化和架构共同决定：先前算子的初始化在第一个优化步骤就将两个大因子矩阵的梯度置零，而我们在共享低秩骨干网络内零初始化的输出投影会立即收到梯度，梯度流探针直接证实了这一点。这一增益并非思维链压缩：57 个 LiveMath 得分中有 23 个击败了基础模型的最佳 8 次采样，而 logit-lens 探针显示该算子沿模型已有的深层通路放大答案，而非提前写出答案。增益在 13 个基础模型—任务对中与基础模型的提升空间同步，且技能可组合为近似线性算子，可在推理时相加、插值和热插拔。代码见 此 https URL。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.06950 [cs.LG] |
| （或 arXiv:2610.06950v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.06950 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ran Li [查看邮箱]
[v1]
2026 年 10 月 3 日星期六 12:57:57 UTC（901 KB）
来源：arXiv cs.AI · arxiv.org