GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力该如何被量化比较。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力该如何被量化比较。
Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 filler token 且被要求不推理时作答的表现,发现它在需要大量串行认知的任务上明显变好,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。
推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的未言明推理能力,为 CoT 监控的有效性提供了可复现的对照数据。
OpenAI 发布 GPT-6 Astra 系统卡,披露该模型在安全与对齐方面的评测结果。在提示模型规避检测时,GPT-6 Astra 在 WMDP 上的 CoT 监控召回率低于 11%。
推荐理由:系统卡披露了 GPT-6 Astra 在 CoT 监控规避、隐蔽消极怠工与生化能力上的具体评测数据,可对照 GPT-5.6 Sol 看能力变化。
Augment 重建 Auggie CLI 的 harness,在 SWE-bench Pro 上以相同通过率完成任务花费 1.27 美元,而 Claude Code 为 2.70 美元,便宜 53%。
推荐理由:Augment 公开了 CLI harness 重写的取舍过程与 SWE-bench Pro 成本对比,可参考其工具面收窄与检索替代探索的思路。
Modem 发布《Writing Code for Agents》系列第一篇,指出编码智能体主要靠 grep/ripgrep 做文本搜索来导航代码库,因此变量、函数、文件名本身就是搜索词。
推荐理由:Modem 用自家 68 万行 LLM 生成代码库的实测数据,说明命名与类型如何影响智能体的检索开销与准确率。
OpenAI Alignment 研究团队用私有生产数据验证,基于公开数据集 WildChat 的部署模拟能较准确预测真实失准率。
推荐理由:OpenAI 用私有生产数据验证公开数据集 WildChat 能否预测真实失准率,并指出智能体场景的预测边界。