研究者提出3PO参数空间探索方法改进LLM强化学习

Vatsal Venkatkrishna等作者提出名为 Perturbed Parameter Policy Optimization（3PO）的方法族，用于在强化学习训练大语言模型时从参数空间进行探索。据其论文，3PO 通过不同采样策略和不同的 rollout 分组来估计奖励，从后验中采样不同策略，作为温度缩放等动作空间探索手段的补充控制方式。 该工作目前以 arXiv 预印本形式发布，尚未见同行评审或独立复现结果，其相对动作空间探索的实际改进幅度仍待验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。