arXiv cs.AI· Xuliang Huang, Tianxiang Zhao, Chengwei Qin, Yao Shu·· 11 小时前AI 评分24
GIST：面向离线 RLVR 的 Gibbs 目标分层数据选择方法
GIST: Gibbs-Targeted Hierarchical Data Selection for Offline RLVR
AI 导读
研究者提出 GIST（Gibbs-Targeted Hierarchical Data Selection），一种面向离线 RLVR 的两级数据选择方法，利用采样温度挑选正确与错误响应、并用初始策略的 token 概率只监督失配所在的 token。
正文 · AI 翻译
摘要：带可验证奖励的离线强化学习（RLVR）在固定的采样响应池上进行训练，并且通常对每个响应的每个 token 都进行监督，尽管响应和 token 的信息量并不相同。我们通过 KL 正则化 RLVR 的 Gibbs 最优策略（离线训练的目标）来研究应监督哪些响应和 token，并用双向 KL 散度衡量策略与该目标之间的失配。在参考策略处，该失配可精确分解，并区分出两种结果：正确响应主要通过前向项产生贡献，集中在其低概率 token 上；错误响应则通过反向项产生贡献，集中在策略经常生成的响应及其高概率 token 上。基于此分析，我们提出 GIST（Gibbs 目标分层数据选择），一种两级选择方法，利用训练前可获得的信号来近似这些原则。GIST 使用采样温度在同策略上选择正确响应，并在策略众数附近选择错误响应，同时利用初始策略的 token 概率仅监督失配所在的 token。应用于两个离线训练目标时，GIST 在两种目标下均提升了全部三个模型在 GSM8K、MATH-500 和 MBPP 上的平均准确率。在 Qwen3-0.6B/GSM8K 上的受控比较中，它优于从相同候选中进行选择的七个选择基线，同时比在同一提示的所有候选上训练少监督 66.6% 的 token。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06395 [cs.AI] |
| （或 arXiv:2611.06395v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06395 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xuliang Huang [查看邮箱]
[v1]
2026年11月4日星期三 12:01:21 UTC（249 KB）
来源：arXiv cs.AI · arxiv.org