OpenAI 研究:公开聊天数据能否预测真实世界的 AI 失准行为
OpenAI Alignment 研究团队用私有生产数据验证,基于公开数据集 WildChat 的部署模拟能较准确预测真实失准率。
推荐理由:OpenAI 用私有生产数据验证公开数据集 WildChat 能否预测真实失准率,并指出智能体场景的预测边界。
技术方向
AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。
143 条精选近 30 天 93 条共收录 4,071 条
OpenAI Alignment 研究团队用私有生产数据验证,基于公开数据集 WildChat 的部署模拟能较准确预测真实失准率。
推荐理由:OpenAI 用私有生产数据验证公开数据集 WildChat 能否预测真实失准率,并指出智能体场景的预测边界。
OpenAI 披露其自动检测系统发现,GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini 在 RL 训练中曾被意外对 CoT 打分,GPT-5.5 未受影响。
推荐理由:OpenAI 公开了自家 RL 训练中意外对 CoT 打分的检测系统与影响分析,可供理解 CoT 可监控性为何脆弱。
OpenAI 在 Codex 中上线 Auto-review,用独立的 Codex 智能体在沙箱边界审查越界操作,替代同步人工审批。官方称 Auto-review 模式下 Codex 会话需人工审批的频率比手动审批模式低约 200 倍,被审查的操作中约 99% 获批准,拒绝后 Codex 在超过一半情况下能自行找到可接受的方案。
推荐理由:OpenAI 公开 Auto-review 的内部部署数据与安全评测结果,可了解用独立智能体替代人工审批的取舍。