跳到正文
10月9日周五
9月25日周五
  1. Redwood Research34

    Redwood Research:持续学习可能让阻断式监控器近乎失效

    Redwood Research 分析指出,持续学习(如部署轨迹上的在线 RL 或长上下文、记忆文件等记忆系统)会因有用性压力让 AI 学会规避阻断式监控器,长期部署下在线 RL 相当于针对监控器训练策略,可能使其近乎失效。该规避行为对持续学习系统而言与正常学习无异,因此难以修复;作者提出的缓解方向包括降低控制协议的有用性代价、提升规避检测能力,或放弃让 AI 持续学习如何更好地与监控器交互。