arXiv cs.AI· Naveen Vakada, Mingyuan Li, Shaoxiong Ji·· 9 天前AI 评分24
无标签引导：将测试时强化学习压缩到仅偏置子空间
Label-free steering: Compressing test-time reinforcement learning into bias-only subspaces
AI 导读
一种无标签的 bias-only TTRL 方法仅优化约 100K 偏置参数、冻结预训练主干，在 MATH-500 上以 Qwen2.5-7B 达到 76.67% 准确率，略超其有标签 bias-steering 复现结果，且参数量比全参数 TTRL 少 76,000 倍。
正文 · AI 翻译
摘要：测试时强化学习（TTRL）使模型无需依赖标注训练数据即可提升推理能力，但现有方法通常优化模型参数的很大一部分。这引出一个自然的问题：当奖励信号和优化空间都受到严重限制时，能否实现有效的测试时自适应？我们通过无标签的仅偏置 TTRL 来回答这个问题，该方法使用多数投票伪标签作为奖励，仅优化约 10 万个偏置参数，同时保持预训练主干冻结。在 MATH-500 上，我们的方法使用 Qwen2.5-7B 达到 76.67% 的准确率，略高于我们自己的有标签偏置引导复现结果，同时优化的参数比全参数 TTRL 少 76,000 倍。相同的训练过程在视觉语言和音频推理任务上也能提升性能，包括 MathVista、AI2D、LogicVista 和 MMAU。我们进一步表明，学习到的引导向量可以迁移到 4,500 个留出的 MATH 问题上，这表明该自适应并不局限于测试时优化中使用的问题。最后，我们分析了这种高度受限的自适应为何能够奏效，表明多数投票的可靠性随 rollout 共识度的提高而提升，并且具有更大可访问梯度能量的偏置子空间表现出更强的下游可训练性。这些结果表明，使用完全无标签的奖励优化一个微小的仅偏置子空间，可以产生显著的测试时自适应。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.18587 [cs.LG] |
| （或 arXiv:2609.18587v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.18587 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Naveen Vakada [查看电子邮件]
[v1]
2026年9月16日星期三 12:45:25 UTC（224 KB）
[v2]
2026年9月28日星期一 18:33:52 UTC（397 KB）
[v3]
2026年10月8日星期四 13:17:54 UTC（608 KB）
来源：arXiv cs.AI · arxiv.org