Li²SAO 改进轻量异步强化学习优化
热点事件持续更新
Li²SAO 改进轻量异步强化学习优化
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Zichen Bai 等作者提出 Li²SAO 异步强化学习优化方法，针对轻量版 SAO（LiSAO）因 critic 未训练好、训练早期落后 GRPO 的问题。该方法在 critic 冷启动阶段用组相对优势训练 actor、用组中心回报训练 critic，之后切换为单轨迹 GAE。 作者称，实验显示 Li²SAO 在训练早期追平或超越 GRPO，并进一步提升后期性能上限；代码已开源。
AI 根据报道生成 · 59 分钟前更新
最新进展11月2日 13:00
Li²SAO：用组相对 actor-critic 自举提升轻量单轨迹异步 RL 优化报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.CLLi²SAO：用组相对 actor-critic 自举提升轻量单轨迹异步 RL 优化
Li²SAO 通过组相对 actor-critic 自举，解决了轻量版 SAO（LiSAO）因 critic 未训练好而在训练早期落后 GRPO 的问题。该方法在 critic 冷启动阶段用组相对优势训练 actor、用组中心回报训练 critic，之后切换为单轨迹 GAE。实验显示 Li²SAO 在训练早期追平或超越 GRPO，并进一步提升后期性能上限，代码已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。