跳到正文
6月19日周五
  1. OpenAI Alignment 研究博客71

    OpenAI 研究:有益特质强化学习可带来广泛且持久的对齐泛化

    OpenAI Alignment 研究博客发布研究,发现针对诚实、认知谦逊、可纠正性等有益特质做强化学习,能在 53 项内外部基准中的 44 项上超过同等算力基线,改进跨域泛化到训练未涉及的领域。研究构建了覆盖健康、教育、科学、法律等领域的真实对话数据集,将少量有益特质数据混入后训练分布进行 RL 训练。结果显示这些对齐改进在对抗性提示和有害微调下更难被逆转,模型仍对有益指令保持可引导性。

    推荐理由:OpenAI 用真实场景数据做有益特质 RL,展示对齐改进可跨域泛化并在对抗压力下保持,为对齐训练提供可迁移思路。

6月17日周三
5月7日周四
  1. OpenAI Alignment 研究博客66

    OpenAI 调查 RL 训练中意外对 CoT 打分的影响

    OpenAI 披露其自动检测系统发现,GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini 在 RL 训练中曾被意外对 CoT 打分,GPT-5.5 未受影响。

    推荐理由:OpenAI 公开了自家 RL 训练中意外对 CoT 打分的检测系统与影响分析,可供理解 CoT 可监控性为何脆弱。

5月1日周五
  1. OpenAI Alignment 研究博客71

    OpenAI 发布 Auto-review:用独立智能体审查 Codex 越界操作

    OpenAI 在 Codex 中上线 Auto-review,用独立的 Codex 智能体在沙箱边界审查越界操作,替代同步人工审批。官方称 Auto-review 模式下 Codex 会话需人工审批的频率比手动审批模式低约 200 倍,被审查的操作中约 99% 获批准,拒绝后 Codex 在超过一半情况下能自行找到可接受的方案。

    推荐理由:OpenAI 公开 Auto-review 的内部部署数据与安全评测结果,可了解用独立智能体替代人工审批的取舍。

4月24日周五
4月6日周一