arXiv·· 16 天前AI 评分26
异步 LLM 后训练：组质量上限与收敛性分析
Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis
AI 导读
研究为 GRPO 类算法推导出收敛界，明确刻画了梯度估计器二阶矩与偏差之间的权衡。分析表明，对轨迹级重要性加权估计器，一旦二阶矩被一致控制，延迟便通过该界影响收敛。
来源：arXiv · arxiv.org
异步 LLM 后训练：组质量上限与收敛性分析