OpenAI 研究:有益特质强化学习可带来广泛且持久的对齐泛化
OpenAI Alignment 研究博客发布研究,发现针对诚实、认知谦逊、可纠正性等有益特质做强化学习,能在 53 项内外部基准中的 44 项上超过同等算力基线,改进跨域泛化到训练未涉及的领域。研究构建了覆盖健康、教育、科学、法律等领域的真实对话数据集,将少量有益特质数据混入后训练分布进行 RL 训练。结果显示这些对齐改进在对抗性提示和有害微调下更难被逆转,模型仍对有益指令保持可引导性。
推荐理由:OpenAI 用真实场景数据做有益特质 RL,展示对齐改进可跨域泛化并在对抗压力下保持,为对齐训练提供可迁移思路。