MaxxBench 改写 DeepSWE 任务，模型分数分化

MaxxBench 团队（Gavin Lo 与 Justin Lo）发布新基准 MaxxBench：对 89 个 DeepSWE 中等时长功能实现任务做小幅需求改动，参考补丁中位数仅增加 17 行（3.5%），再评测 12 个模型配置。结果显示模型分数明显分化：Claude Opus 5.5 从 74.2% 升至 76.4%，Gemini 3.8 Flash 从 73.8% 降至 53.4%，12 个配置的分数极差从 20.9 个百分点扩大到 48.3 个百分点。 团队称，构建该基准是为考察编码表现多大程度依赖模型对任务的既有预期；改动任务指令或起始代码，是让模型面对熟悉的工程工作但需要调整惯常做法。相关论文尚未发布，团队称正在做最后完善。

AI 根据报道生成 · 36 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。