StarSkirmish v0.2 基准发布：让 LLM 写星际争霸机器人，GPT-6 Astra 居首

TL;DR

StarSkirmish 是一个基准测试，让 LLM 为《星际争霸：母巢之战》编写机器人程序
每个 LLM 有一小时时间用 C++ 编写一个神族机器人，然后与其他 LLM 的机器人以及已有的人类编写机器人进行对战评估
StarSkirmish 测试长时程推理和智能体编程能力，因为 LLM 必须吸收练习赛中的经验来改进其星际争霸机器人

StarSkirmish Bench 评估每个 LLM 在 1 小时实际时间内能编写出多强的星际争霸机器人。v0.2 更新了 StarSkirmish Bench v0.1，纳入 OpenAI、Anthropic、Google 和 Meta 的旗舰模型，每个模型都在其实验室的第一方 CLI 环境中运行。

LLM 的得分反映其对抗一组有竞争力的人类编写机器人和演示机器人的胜率。

StarSkirmish Bench v0.2

1 小时运行，在其第一方 CLI 环境中。得分为每个模型 5 次运行对抗一组有竞争力的人类编写机器人的平均胜率（0–100）。

Gemini 4 Argon 以 high 运行，这是其可用的最高推理强度；其他所有模型均以 max 运行。

GPT-6 Astra 是 StarSkirmish Bench v0.2 得分最高的 LLM，明显领先于排名第二的 GPT-6.1 Sol。 Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 在它们之后实际上并列，得分均在 37 到 39 之间。

StarSkirmish Bench 与成本对比

StarSkirmish Bench 得分与一次 1 小时运行的平均 API 成本对比。成本为对数刻度。

Muse Wonder Full 的定价基于 Muse Wonder 的 API 定价。

GPT-6.1 Sol 提供了独特的高性价比：它是唯一处于最具吸引力象限的 LLM，得分第二，而每次运行成本仅为 GPT-6 Astra 的十分之一多一点。

未见饱和迹象

最强的人类编写机器人仍远远领先于所有模型。面对 Stardust、PurpleWave 和 BananaBrain，最佳模型 GPT-6 Astra 仅赢得 7% 的对局。

对抗顶级人类编写机器人的胜率

每个模型 5 个机器人对抗顶级人类编写机器人 Stardust、PurpleWave 和 BananaBrain 的平均胜率。

1 小时推理限制是一个因素，但这些比赛是在三张 2 人地图上进行的。真实的人类编写机器人锦标赛条件要困难得多。

新 AI 模型亮点

Google 和 Meta 的新旗舰模型取代了 v0.1 的 Gemini 3.8 Flash 和 Muse Spark 1.3：Gemini 4 Argon 排名第 3，Muse Wonder Full 排名第 7。GPT-6 Astra 和 Claude Opus 5.5 已在 v0.1 中介绍过。

AI 模型行为

每次运行的智能体轨迹记录了它如何度过这一小时。模型得分的最强预测指标是它与名单上 7 个最强机器人练习了多少。

对抗强机器人的练习与胜率

StarSkirmish Bench 得分与模型的中位运行在那一小时内对抗名单上 7 个最强机器人所进行的练习赛数量对比。虚线是跨 9 个模型的线性拟合。

GPT-6 Astra、GPT-6.1 Sol 和 Gemini 4 Argon 在这一小时的早期就开始与这些机器人对战，而它们自己的机器人此时仍会输给这些机器人。Muse Wonder Full、Claude Haiku 5.5 和 GPT-6 Luna 很少或从不这样做。Claude Fable 5.1 是个例外：它几乎完全与较弱的机器人练习，却得到了 37 分。

运行间差异

每个模型 5 次运行的胜率。每个点是一次运行的最终 bot；线跨越最低到最高的运行，横条标记它们的均值（该模型的 Bench 分数），色带表示一个标准差（σ）。

同一模型的不同运行之间结果也有差异。Gemini 4 Argon 的波动远大于其他实验室的旗舰模型：其最好和最差的运行相差 18 分，而 GPT-6 Astra 为 9 分，Claude Opus 5.5 为 8 分。

每个 LLM 用 C++ 编写一个 Protoss bot，基于 BWAPI 4.4.0，运行在 OpenBW 上。比赛为 Protoss 对 Protoss，在三张天梯地图上进行：Heartbreak Ridge、Benzene 和 Destination。当一方的建筑全部被摧毁时比赛结束。达到 60 分钟上限（86,400 帧）的比赛按 BASIL 天梯的规则判定：击杀数 + 拆毁数得分高者获胜。

LLM 从一个只会采矿的骨架 bot 开始，附带三个演示 bot 的源代码和两个标准 bot 库：FAP（一个战斗模拟器）和 BWEM（一个地图分析器）。一小时结束时其 bot 文件夹中的内容就是它的最终 bot，因此它必须保持 bot 可编译。

LLM 拥有编译其 bot、进行练习赛以及读取每场比赛的摘要、记录和其 bot 自身日志的工具。练习对手被分为多个层级：D（三个演示 bot）、C 和 B（各三个中等人写的 bot）、A（BananaBrain、Locutus）和 S（Stardust、PurpleWave）。

锦标赛设置

LLM bot

对手

比赛数

每对比赛数

每个模型的 5 个最终 bot 与 13 个名单 bot（10 个有竞争力的人写 bot 和 3 个演示 bot）各对战，在每张地图上使用全新种子进行 6 次。与 v0.1 不同，LLM bot 之间不互相对战。

测试框架与推理

StarSkirmish Bench v0.1 在同一个测试框架中以“高”推理运行每个模型。v0.2 在各自实验室的第一方 CLI 测试框架中以其提供的最高推理设置运行每个模型。

测试框架

v0.1 在一个中立的第三方测试框架中运行每个模型；v0.2 在各自实验室的第一方 CLI 测试框架中运行其模型。两个版本都给每个模型 1 小时。

v0.1

v0.2

Claude CodeClaude Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5

CodexGPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna

Antigravity CLIGemini 4 Argon

Muse CodeMuse Wonder Full

CLI 版本：Claude Code 2.1.296、Codex 0.162.1、Antigravity CLI 1.3.5 和 Muse Code 1.4.7。

推理强度

v0.1 以高推理强度运行每个模型；v0.2 以最高强度运行它们。

v0.1

低中高超高最高

高

v0.2

低中高超高最高

最高

Gemini 4 Argon 以 high 运行，这是其支持的最高强度。

每个 v0.2 测试框架都会在约 250k token 时压缩模型的上下文。当对话接近该点时，CLI 会对其进行压缩，模型继续运行。例如，OpenAI 的 CLI Codex 为 GPT 模型提供其默认的 272k token 窗口，并在填充到 90% 时触发压缩。

CLI 的网页搜索和网页抓取工具已关闭，智能体没有其他互联网访问权限。CLI 在计时开始前安装完毕，一小时从智能体启动时开始计算。没有提交工具：时间一到，测试框架就会收回机器人。

评分

v0.2 用普通胜率取代了 v0.1 的 Elo 评分。一个机器人的得分是它在场锦标赛对局中的胜率，而一个模型的 StarSkirmish Bench 得分是其 5 个机器人得分的平均值，从 0（每局皆负）到 100（每局皆胜）。

因为每个机器人都对阵同一套固定名单，它的对局不依赖于场上其他 LLM 机器人。它们全部并行运行，新模型的机器人无需重放其他任何人的对局即可评分。固定名单还能让标准随时间保持不变，因此不同代际模型的得分比在单一赛场内拟合的 Elo 评分更具直接可比性。

基准相关性

StarSkirmish 不再与那些被最广泛报告的评测保持一致。它与 Artificial Analysis Intelligence Index 几乎不相关（ρ 0.26），在此处排名第一的模型 GPT-6 Astra 在这 9 个模型中仅并列第 4。它也与 Terminal-Bench 4.0 渐行渐远，而在 v0.1 中两者曾紧密相关。Claude Sonnet 5.5 和 Muse Wonder Full 在 Terminal-Bench 4.0 中都接近榜首，但在这里却接近垫底。

基准相关性

每个模型的 StarSkirmish Bench 得分与其 Vals IOI 和 WeirdML v3 得分的对比，以及两者之间的 Spearman ρ。虚线为最佳直线拟合。

WeirdML v3 对 9 个模型中的 7 个进行了评分：截至撰写本文时，Gemini 4 Argon 和 Muse Wonder Full 尚未被纳入。

StarSkirmish 仍与 Vals IOI（用 C++ 解决的奥林匹克编程题）以及 WeirdML（一个针对非常规机器学习编码任务的独立基准）保持一致。一种解读是，被最密集基准测试的评测已成为模型被调优的目标，而那些针对性较弱、测试长时程困难编码任务的评测仍会同步变化。