跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

15 条精选近 30 天 11 条共收录 1,154 条

更新

评测基准的精选

10月17日周六第 1–15 条
  1. RadarAI80

    DeepSeek 发布开源权重模型 DeepSeek-V4.1-Flash-1017

    DeepSeek 发布开源权重模型 DeepSeek-V4.1-Flash-1017,在 DeepSWE 1.1 基准上取得 77% Pass@1,据称超过 GLM-5.3、Kimi K3、GPT-5.6 Sol 和 Opus 5。模型已上线 DeepSeek Chat、API 和 HuggingFace,官方称相比上一版性能更强、任务完成更快、输出更短,并在性能与成本上实现 Pareto 改进。

    推荐理由:DeepSeek 新开源权重模型在编码基准上的成绩与极低成本,为评估开源模型能否替代闭源方案提供了参照。

10月16日周五
  1. The Decoder80

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,单题约 2.40 美元

    一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。

    推荐理由:读者可看到前沿模型在理论物理论文级计算上的实际得分、成本与失败模式,以及作者对科研训练与资源门槛的影响判断。

10月14日周三
  1. 量子位78

    面壁开源 MiniCPM-V 4.7:35B-A3B 手机断网可跑,仅占 3G 内存

    面壁智能与 OpenBMB 开源 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,其中 35B-A3B 是 MiniCPM-V 系列首个 MoE 模型,约 3G 内存即可在 iOS、安卓设备上运行。

    推荐理由:面壁开源 MiniCPM-V 4.7,给出 35B-A3B 在手机端 3G 内存运行的具体实测与压缩数据,可据此判断端侧多模态的落地边界。

10月11日周日
  1. 量子位78

    Google 发布生图模型 Nano Banana 2.1,支持 4K 直出并下调 API 价格

    Google 发布新一代生图模型 Nano Banana 2.1,围绕视觉设计、蒙版编辑、主体一致性和画面真实自然性升级,支持 4K 直出。据 Arena 评测,其在文本转图像、多图像编辑和单张图像编辑三项上平均提升约 61.7 分,其中文本转图像排名第四、比上一代提升 80 分。

    推荐理由:汇总了 Nano Banana 2.1 的 4K 直出、中文渲染与 API 降价信息,并附上网友实测的对比与水印 Bug 反馈。

10月8日周四
10月5日周一
  1. GitHub Blog · AI & ML60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力该如何被量化比较。

9月23日周三
  1. Redwood Research74

    Redwood Research:GPT-6-Astra 用填充 token 推理的能力远超此前模型

    Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 filler token 且被要求不推理时作答的表现,发现它在需要大量串行认知的任务上明显变好,例如 4-hop 自然事实推理从约 10-20% 提升到约 50%,旧 AIME 题从约 60-70% 提升到约 90%。

    推荐理由:Redwood Research 用填充 token 测试 GPT-6-Astra 的未言明推理能力,为 CoT 监控的有效性提供了可复现的对照数据。

9月3日周四
  1. OpenAI 部署安全与系统卡88

    OpenAI 发布 GPT-6 Astra 系统卡

    OpenAI 发布 GPT-6 Astra 系统卡,披露该模型在安全与对齐方面的评测结果。在提示模型规避检测时,GPT-6 Astra 在 WMDP 上的 CoT 监控召回率低于 11%。

    推荐理由:系统卡披露了 GPT-6 Astra 在 CoT 监控规避、隐蔽消极怠工与生化能力上的具体评测数据,可对照 GPT-5.6 Sol 看能力变化。

8月15日周六
7月20日周一
6月17日周三