arXiv cs.AI· Yunan Zeng, Jinhao Jing, Xi Cheng, Yuwang Wang·· 11 小时前AI 评分24
ASE：用激活空间引导为可验证奖励强化学习增加探索
Exploration via Activation-Space Steering for Reinforcement Learning with Verifiable Rewards
AI 导读
研究者提出 Activation-Space Exploration（ASE），一种在线多样化训练 rollout 的方法：通过聚类同一问题正确与错误回答之间的激活差异，构建潜在探索向量库，并在后续 rollout 中施加不同向量以探索其他推理路径。
正文 · AI 翻译
摘要：可验证奖励强化学习（RLVR）通过采样回复、用自动验证器评分，并根据所得奖励更新策略来训练语言模型。因此，策略仅从出现在其 rollout 中的轨迹获得直接学习信号。然而，在固定 rollout 预算下，对同一策略重复采样可能集中于相似的推理路径，导致有用的替代路径未被探索。我们提出激活空间探索（ASE），一种用于多样化训练 rollout 的在线方法。通过聚类同一问题下正确与错误回复之间的激活差异，ASE 构建了一个结构化的潜在探索向量库。随后将不同向量应用于后续 rollout，以探索替代推理路径。在基于 DAPO-Math-17k 训练的 Qwen3-1.7B-Base 和 Qwen3-8B-Base 上，在相同 rollout 预算下，ASE 在六个数学推理基准上的平均 Mean@8 相比 GRPO 分别提升了 4.87 和 1.87 个百分点。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27012 [cs.LG] |
| （或 arXiv:2610.27012v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27012 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yunan Zeng [查看电子邮件]
[v1]
2026年10月19日星期一 12:23:01 UTC（841 KB）
来源：arXiv cs.AI · arxiv.org