arXiv cs.AI· Chu-Cheng Lin, Eugene Ie·· 10 小时前AI 评分31
模型该多快进入监督？用 Tsallis 损失连续体训练推理模型
How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum
AI 导读
研究者提出基于 Tsallis q-对数的损失族 J_Q，在 RLVR（q=0）与潜轨迹对数边际似然（q=1）之间连续插值，并证明两端的冷启动逃逸时间分别为 Ω(1/p₀) 与 Θ(log(1/p₀))，从而解释标准流程为何先 SFT 后 RLVR。
正文 · AI 翻译
摘要：训练推理模型的标准流程——先在有理由标注上做 SFT，再做 RLVR——依赖于理由标注可得且干净。当不存在标注理由时，SFT 根本无法启动；当模型对齐程度过低时，仅靠 RLVR 会在冷启动阶段停滞；当标注质量较弱时，SFT 会记住错误。利用 Tsallis $q$-对数，我们定义了一个损失族 $J_Q$，它在 RLVR（$q{=}0$，即利用极点）与潜在轨迹上的对数边际似然（$q{=}1$，即密度估计极点）之间插值。标准流程对应于逐步的 $q{=}1 \to q{=}0$ 调度，而中间 $q$ 使得在两阶段流程无法适用的情形下也能训练。所有成员共享相同的梯度方向，仅相差一个逐实例放大因子 $P_{\theta}^{-q}$，该因子独立于学习率对每个实例重新加权。在梯度流分析下，我们表明利用极点需要 $\Omega(\frac{1}{p_0})$ 时间才能逃离冷启动，但对标签噪声鲁棒；而密度估计极点以 $\Theta\big(\log(\frac{1}{p_0})\big)$ 逃离，却会记住标签噪声。这种分离解释了为何在标准流程中 SFT（$q{=}1$）先于 RLVR（$q{=}0$）。我们进一步推导出两种蒙特卡洛估计器，可在 $J_Q$ 连续统上直接优化固定 $q$，无需标注理由或外部验证器：梯度放大强化学习（GARL）和后验衰减微调（PAFT），二者共享偏差 $O\big(\frac{q}{M P_{\theta}^q}\big)$，但方差和稳定性性质不同。在 FinQA、HotPotQA 和 MuSiQue 上，足够高 $q$ 的 GARL 能够逃离冷启动，而 GRPO 在 Qwen 3 和 Gemma 4 架构下完全失败。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.25907 [cs.LG] |
| （或 arXiv:2604.25907v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.25907 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chu-Cheng Lin [查看邮箱]
[v1]
2026年4月28日星期二 17:52:38 UTC（258 KB）
[v2]
2026年5月7日星期四 17:16:40 UTC（256 KB）
[v3]
2026年10月30日星期五 03:56:49 UTC（152 KB）
来源：arXiv cs.AI · arxiv.org