arXiv cs.CL· Miaobo Hu, Shuhao Hu, Xiaobo Guo, Xin Wang, Bokun Wang, Daren Zha·· 11 小时前AI 评分29
FSPO：面向预算受限 LLM RL 后训练的策略一致性风险与帕累托可行控制
FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training
AI 导读
FSPO 是一个面向预算受限 LLM RL 后训练的反馈状态控制器，联合解决风险模型与部署策略不一致、校准漂移和多资源可行性认证三个问题。在匹配 GRPO 资源包络下，FSPO 取得 66.11% held-out 与 59.43% OOD 准确率，高于最强自适应基线 PB2 的 64.47% 和 57.03%。
正文 · AI 翻译
摘要：自适应 LLM 强化学习后训练会在线改变多个训练执行器，包括 rollout 温度、组大小、裁剪、KL 正则化、验证器分配和更新预算。三个相互耦合的问题仍未解决。基于行为轨迹训练的未来风险模型未必能估计将要部署的控制器所诱导的风险；在记录的状态-动作对上校准的分数，在选择性动作选择后可能变得失准；而各资源独立的最小成本通常不能证明存在可行的多资源延续。我们提出 FSPO，一种用于预算受限 LLM RL 后训练的反馈状态控制器，联合解决这些问题。FSPO 学习一个策略一致的风险到未来模型，其 Bellman 目标遵循与未来决策相同的冻结控制器，并学习一个长时程效用模型。决策条件轨迹校准（DCTC）在由临时控制器所选动作生成的交叉拟合轨迹上校准风险。帕累托资源延续证书（PRCC）仅当非支配累积预留量在剩余时程内仍然可行时才允许某个动作。在匹配的 GRPO 资源包络下，FSPO 达到 66.11% 的留出集和 59.43% 的 OOD 准确率，而评估中最强的自适应基线 PB2 为 64.47% 和 57.03%。三个配对训练种子在留出集和 OOD 评估上分别比上下文 bandit 提升 +2.42 和 +3.19 个百分点。在行为-部署高度失配下，策略一致风险将所选决策的 ECE 从 0.108 降至 0.053；DCTC 在匹配接受率下将其从 0.039 降至 0.022；PRCC 在 18 动作目录上消除了假可行准入（$0.197\rightarrow0.000$）；在因子消融中，启用全部三个组件将轨迹失败率从 0.181 降至 0.083。
| 评论： | 40 页，4 张图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.02828 [cs.AI] |
| （或 arXiv:2610.02828v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.02828 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Miaobo Hu [查看邮箱]
[v1]
2026 年 10 月 2 日星期五 05:19:54 UTC（1,426 KB）
[v2]
2026 年 10 月 16 日星期五 12:44:10 UTC（1,426 KB）
来源：arXiv cs.CL · arxiv.org