arXiv cs.CL· Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang·· 16 小时前AI 评分31
S3AC：面向 LLM 推理的稳定、选择性、可扩展 Actor-Critic 方法
S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning
AI 导读
S3AC 是一套面向 LLM 推理的 Actor-Critic 训练方案，通过实用的 critic 训练配方提供 token 级优势和 prompt 级基线，并配合 Difficulty-Aware Prompt Sampling（DAPS）在生成前筛选提示词以减少 rollout 浪费。
正文 · AI 翻译
摘要：无评论家（critic-free）方法被广泛用于带可验证奖励的强化学习（RLVR）中的长链式思维（CoT）推理，可避免困难且昂贵的评论家训练。常见的替代方案缺乏 token 级信用分配，通常依赖分组 rollout 来估计特定于提示的基线。评论家可以解决这两个局限，但长 CoT 评论家训练受到轨迹长度多样覆盖不足以及早期梯度被新初始化的价值头主导的阻碍。我们提出 S3AC（Stabilized, Selective, and Scalable Actor-Critic）用于 LLM 推理，其核心是一套实用的评论家训练方案。训练后的评论家提供 token 特定的优势和提示特定的基线。利用提示级基线来估计难度，我们提出难度感知提示采样（DAPS）。DAPS 将该估计与结果历史相结合，在生成前选择提示，从而减少 rollout 浪费，且无需离线难度初始化。S3AC 在 1.5B 到 397B 参数的稠密模型和混合专家模型上提升了分组 rollout 性能，优于现代 GRPO 变体（GRPO-X）。在 35B 规模下，它维持单次 rollout 训练，而所测试的无评论家基线在初始增益后出现退化。
| 评论： | 17 页，14 张图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35518 [cs.LG] |
| （或 arXiv:2610.35518v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35518 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuo Shen [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 14:38:53 UTC（517 KB）
来源：arXiv cs.CL · arxiv.org