跳到正文
热点事件持续更新

研究者提出MinPRO稳定离策略LLM优化

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Shiye Lei等作者提出一种名为Minimum Prefix Ratio（MinPRO）的训练目标，用于缓解离策略强化学习后训练中因策略滞后导致的训练不稳定。 该方法用前缀内最小token级比率构成的有偏、非累积替代量，替换原先不稳定的累积前缀比率。作者称该目标简单且有效，但报道未给出实验验证结果。

AI 根据报道生成 · 49 分钟前更新

最新进展11月5日 13:00
用前缀重要性比率稳定 off-policy LLM 优化：MinPRO 方法

报道时间线

沿着报道，了解事件的不同侧面。

11月5日
  1. arXiv cs.AI
    用前缀重要性比率稳定 off-policy LLM 优化：MinPRO 方法

    针对 off-policy 强化学习后训练中策略滞后导致的训练不稳定问题，研究者提出 Minimum Prefix Ratio（MinPRO）目标，用前缀内最小 token 级比率构成的有偏非累积替代量替换不稳定的累积前缀比率。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。