arXiv cs.CL· Yi Jing, Zao Dai, Jinwu Hu, Zijun Yao, Lei Hou, Juanzi Li, Xiaozhi Wang·· 11 小时前AI 评分31
SAERL：用稀疏自编码器指导 LLM 后训练数据工程
Teach the Way It Thinks: Guiding LLM Post-training Data Engineering with Sparse Autoencoders
AI 导读
研究者提出 SAERL，利用稀疏自编码器（SAE）特征组织强化学习训练数据，依据样本的 SAE 激活与梯度信号筛选、排序和分批，而非依赖通过率等外部反馈。在 Qwen2.5-Math-1.5B 上，SAERL 使 GRPO 平均准确率提升 3.1%，并以少 42% 的训练步数达到目标准确率。该课程用小模型构建一次即可迁移到更大模型，在多种模型规模和 RL 算法上均取得稳定增益。
正文 · AI 翻译
摘要：面向大语言模型（LLM）强化学习（RL）的数据工程决定了在哪些样本上训练、何时呈现这些样本，以及将哪些样本组成一个批次。现有方法大多依赖外部反馈，例如通过率或难度标签，这些反馈只能观察到每个样本上的结果。我们认为，模型内部状态能提供更丰富、更具模型内在性的反馈，可指导上述全部三项决策。我们提出 SAERL，它在稀疏自编码器（SAE）的特征空间中组织 RL 训练数据；SAE 是一种机制可解释性工具，可将模型内部状态分解为稀疏、可解释的特征。SAE 特征让我们将模型视为一组功能区域，每个区域由相关样本共同激活的特征构成。对于每个样本，其 SAE 激活值表明它涉及哪些区域，而其投影到 SAE 特征上的梯度表明在该样本上训练将如何改变这些区域。在这一视角的指导下，SAERL 保留具有强且非冗余梯度信号的样本，对每个功能区域按从易到难的顺序训练，并且一次只训练一个功能区域，每个批次从单个激活簇中抽取，并带有适度的跨簇混合。由此得到的课程用小模型构建一次，并可迁移到更大的模型。在数学推理上的实验表明，该方法在不同模型规模和 RL 算法上均取得一致增益。例如，在 Qwen2.5-Math-1.5B 上，SAERL 将 GRPO 的平均准确率提升 3.1%，并以少 42% 的训练步数达到目标准确率。进一步分析表明，排序与批处理是互补的。这些结果表明，模型内部状态是后训练数据工程一个强大而实用的基础。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.27354 [cs.LG] |
| （或本版本的 arXiv:2605.27354v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.27354 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yi Jing [查看邮箱]
[v1]
2026年5月26日星期二 17:55:59 UTC（264 KB）
[v2]
2026年11月5日星期四 17:21:39 UTC（744 KB）
来源：arXiv cs.CL · arxiv.org