arXiv cs.AI· Seonglae Cho, Zekun Wu, Adriano Koshiyama·· 1 天前AI 评分38
Control Reinforcement Learning：用稀疏自编码器特征实现 LLM 可解释的 Token 级引导
Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features
AI 导读
Control Reinforcement Learning（CRL）通过训练策略在每 token 上选择 SAE 特征进行引导，生成可解释的干预日志，识别放大后能改变模型输出的特征。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）将语言模型激活分解为可解释特征，但现有方法仅揭示哪些特征被激活，而非哪些特征在放大时会改变模型输出。我们提出控制强化学习（CRL），训练策略在每个 token 处选择用于引导的 SAE 特征，生成可解释的干预日志：学习到的策略识别出放大后会改变模型输出的特征。自适应特征掩码鼓励发现多样化的特征，同时保持单特征可解释性。该框架带来新的分析能力：分支点跟踪定位特征选择决定输出正确性的 token；评论家轨迹分析将策略局限性与价值估计误差区分开；逐层比较揭示早期层中的句法特征和后期层中的语义特征。在 Gemma 2 2B 上，跨 MMLU、BBQ、GSM8K、HarmBench 和 XSTest，CRL 在提供逐 token 干预日志的同时实现了改进。这些结果确立了学习式特征引导作为一种机制可解释性工具，以动态干预探针补充静态特征分析
| 评论： | 已被 NeurIPS 2026 接收。31 页，24 幅图，12 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2602.10437 [cs.LG] |
| （或 arXiv:2602.10437v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.10437 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Seonglae Cho [查看邮箱]
[v1]
2026年2月11日星期三 02:28:49 UTC（17,666 KB）
[v2]
2026年2月12日星期四 02:43:40 UTC（17,666 KB）
[v3]
2026年5月3日星期日 22:52:48 UTC（17,693 KB）
[v4]
2026年11月12日星期四 06:59:02 UTC（17,671 KB）
来源：arXiv cs.AI · arxiv.org