GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,单题约 2.40 美元
一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
推荐理由:读者可看到前沿模型在理论物理论文级计算上的实际得分、成本与失败模式,以及作者对科研训练与资源门槛的影响判断。
一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
推荐理由:读者可看到前沿模型在理论物理论文级计算上的实际得分、成本与失败模式,以及作者对科研训练与资源门槛的影响判断。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力该如何被量化比较。
Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 filler token 且被要求不推理时作答的表现,发现它在需要大量串行认知的任务上明显变好,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。
推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的未言明推理能力,为 CoT 监控的有效性提供了可复现的对照数据。
OpenAI Alignment 研究团队用私有生产数据验证,基于公开数据集 WildChat 的部署模拟能较准确预测真实失准率。
推荐理由:OpenAI 用私有生产数据验证公开数据集 WildChat 能否预测真实失准率,并指出智能体场景的预测边界。