Wincon 用 TIS-100 评测 16 个 LLM：产出 133 个新前沿点

2026.11.03 · 全部 55 道谜题 →

本页内容排行榜运作方式细看一项纪录模型之间的差异模型构建了什么上帝模式共同发现帕累托探索器方法相关工作引用致谢全部 55 道谜题 →

十二个节点。每个节点两个寄存器。十五行代码。在 TIS-100 中，连两个数相乘都是一个小型工程项目，而玩家们十年来一直在公开的社区排行榜上优化这些程序。我们把游戏及其手册交给 16 个 LLM，隐去排行榜，并要求它们持续改进。

133个新前沿点

18 / 55道谜题出现新前沿点

3项直接打破的周期纪录

几天之内，玩家们就采用了模型的程序，并改进了其中大部分。

每个节点都是一个微型处理器，相邻节点必须互相等待才能交换数值。游戏按周期、节点和指令为可运行方案评分，你会开始琢磨是否还能再省掉一条指令。分数越低越好，但改善一项分数可能让另一项变差，因此每道谜题都有一组权衡构成的前沿，而非唯一最优解。

排行榜

我们运行了 16 个 LLM，涵盖领先的前沿模型和开放权重模型。每个模型都尝试了游戏中的全部 47 道谜题，外加八道社区锦标赛谜题，每道谜题各进行一次计分尝试（pass@1），根据难度给予每道谜题 10 到 45 分钟，用于找到可运行程序并持续改进。

Opus 5.5 和 GPT-6 Astra 领先，数据无法将二者区分开。两者都解出了全部 55 道谜题，且都在 11 道谜题上发现了新前沿点。Opus 5.5 发现的点更多，为 72 比 32，而 GPT-6 Astra 的纪录接近度更高，为 78.0 比 77.2。纪录接近度衡量与社区纪录的接近程度，100 表示与纪录持平。接近度差距的 95% 自助法区间包含零，从 −0.7 到 +2.4 点。GPT-6 Astra 还在全部六种测试的超体积设置中领先，这些设置衡量每个模型权衡所覆盖的空间。

求解和优化也是不同的技能。Gemini 3.8 Flash 解出了 53 道谜题，并在 1 道谜题上发现了新点；Fable 5.1 解出的更少，为 52 道，并在 5 道谜题上发现了新点。

完整排名 展开表格

计数基于 55 个谜题。 方法

强化学习环境与轨迹可应研究团队请求提供。联系我们 ↗

工作原理：测试框架设计

这里的每个结果都是我们能在全新输入上运行和测试的程序，这使得编程游戏成为一项有用的基准。模型获得的是玩家可以查看的信息，通过文本工具而非鼠标和截图：手册、可见的测试输入、寄存器以及游戏反馈。它们不会获得社区代码或精确记录，只能看到游戏粗略的分数直方图。

读取、编辑、运行

模型阅读谜题和语言参考，编辑程序，并在真实游戏中运行它们。

诊断信息

错误输出和死锁会返回不匹配、寄存器和被阻塞的端口，因此下一次编辑可以依据证据做出响应。

保存进度

每个通过的程序都会加入模型自己的前沿，并可通过 get_best 恢复，因此一次冒险的编辑不会丢失先前的结果。

提醒

如果模型提前结束回合，提醒会要求它继续测试，因此提前放弃不会决定分数。提醒不包含任何解题提示。

可见的时钟

模型可以看到已用时间与 10、30 或 45 分钟限制的对比。设置时间不计入；思考和游戏调用计入。模型不能提前结束回合。

运行限制

游戏执行在约 1 秒无状态变化、5 秒无输出或总计 60 秒后停止，并返回诊断信息。

为什么要测试 100,000 个输入？ 游戏每次运行只检查一小组用例。我们的头条计数要求进行全新游戏重放，并在独立的 TIS-100-CXX 模拟器上通过 100,000 次测试，从而提供更强的证据证明程序能泛化到新输入。

近距离看一项记录

Undecimal Twin RounderSPEC44149538 是八个锦标赛谜题之一，它将输入四舍五入到最接近的 N 的倍数并输出到一个输出端，同时四舍五入到最接近的 11−N 的倍数并输出到另一个输出端。当我们冻结排行榜时，最好的社区程序耗时 2,694 个周期。Opus 5.5 在 6.5 分钟后通过了第一个程序，耗时 5,669 个周期。它在 16 分钟内打破了记录，最终达到 1,918 个周期，快了 29%。这一速度比旧记录多用一个节点和 28 条指令。

程序的核心是双速搜索。节点 5 和 6 不是一次减去一个 N，而是减去 4N 直到超过，然后加回 N 直到值变为正数。每个节点通过端口向一个小协处理器（节点 2 或节点 7）发送跳转偏移，因此协处理器充当 4N 和 N 的查找表。

MOV RIGHT, ACC
JRO ACC
NOP
ADD 1
NOP
ADD 1
NOP
ADD 1
NOP
SUB 3
MOV ACC, RIGHT
ADD UP
MOV ACC, RIGHT
MOV ACC, DOWN
MOV RIGHT, DOWN

MOV UP, ACC
SAV
SUB 1
MOV ACC, LEFT
NEG
ADD 10
MOV ACC, DOWN
MOV LEFT, ACC
NEG
ADD ACC
ADD 6
ADD LEFT
MOV ACC, DOWN
SWP
MOV ACC, LEFT

MOV UP, DOWN
MOV UP, ACC
SAV
ADD ACC
ADD ACC
L: JRO DOWN
MOV ACC, DOWN
JMP L
SWP
N: MOV ACC, DOWN
M: JRO DOWN
JMP N
MOV DOWN, DOWN

MOV UP, RIGHT
MOV UP, DOWN

MOV LEFT, DOWN

MOV UP, ACC
SAV
K: MOV 1, UP
SUB UP
JGZ K
MOV 3, UP
F: ADD UP
JGZ X
MOV 1, UP
JMP F
X: MOV 2, UP
MOV ACC, UP
SWP
SUB UP
MOV ACC, DOWN

MOV UP, ACC
SAV
K: MOV 1, RIGHT
SUB RIGHT
JGZ K
MOV 3, RIGHT
F: ADD RIGHT
JGZ X
MOV 1, RIGHT
JMP F
X: MOV 2, RIGHT
MOV ACC, RIGHT
SWP
SUB RIGHT
MOV ACC, DOWN

MOV UP, ACC
SAV
ADD ACC
ADD ACC
L: JRO LEFT
MOV ACC, LEFT
JMP L
SWP
N: MOV ACC, LEFT
M: JRO LEFT
JMP N
MOV LEFT, LEFT

正在加载谜题轨迹…

有五个模型在游戏内打破了旧纪录。另外两项循环纪录分别是 GPT-6.1 Sol 在 Intersection IdentifierSPEC64160260 上的 3,460，对比 3,872（快 11%），以及 Gemini 4 Argon 在 Error: 8SPEC79324720 上的 188，对比 198（快 5%）。这三项都来自锦标赛谜题，主游戏中没有。在 133 个新前沿点中，18 个直接打破了社区纪录。其余 115 个是新的权衡：三项得分之间的平衡优于任何社区解法。

模型之间的差异

成本并不反映质量

GPT-6.1 Sol 以每个谜题估计 $0.75 的成本达到 75.6 的纪录接近度。Opus 5.5 以 $5.08 达到 77.2，成本是 7 倍，只多 2 分。Fable 5.1 最贵，为 $7.19，得分 70.2。

880个回合

95.5M输出 token

62,400次游戏工具调用

正在加载分析…

模型构建了什么

我们按主要需求将 全部 55 个谜题 分组，然后阅读了程序。十六个模型中有十五个解决了全部五个路由谜题，且没有一个在那里找到新的前沿点。下面的示例展示了不同设计如何花费相同的资源。

乘法：用代码换取周期节省

Signal Multiplier43786 没有 MUL。Gemini 4 Argon 和 GPT-6 Astra 使用 JRO（一种相对跳转）在正确位置进入一段重复指令块。该跳转选择要发送并相加的值的副本数量，从而省去乘法循环中的计数器更新和分支。

Gemini 4 Argon 的最快程序使用两条路径并行相乘，并用一个最终节点交错输出结果。它需要 436 个周期，而 GPT-6 Astra 为 523 个周期，约快 17%，代价是多用两个节点和多 33 条指令。

窗口求和：分发历史记录

Signal Window Filter60099 输出最近三个和最近五个输入的和，因此解法不仅要会加法，还要记住历史。Gemini 4 Argon 的四节点程序使用 SWP 轮转存储的值，并用 ADD/SUB 更新运行状态。GPT-6.1 Sol 将这种延迟和聚合分散到七个节点上，在它们之间传递中间值。

GPT-6.1 Sol 的程序以 318 个周期运行，包含 26 条指令；Gemini 4 Argon 的程序需要 428 个周期，但只有 17 条指令。差异在于有多少工作并行执行，以及为此付出多少通信和代码代价。

GPT-6.1 Sol318c · 7n · 26i

Gemini 4 Argon428c · 4n · 17i

从栈进行索引访问

T31 Node EmulatorNEXUS.23.727.9 需要八个可寻址的存储槽，但可用的内存节点是栈。这些程序在栈之间移动值以到达请求的槽，然后读取或替换它。MiMo-V2.6-Pro 使用计数传输循环；Opus 5.5 使用 JRO 在展开的传输之间进行选择，用额外的指令换取周期节省。

内存不是单一技能：MiMo-V2.6-Pro 解决了这个模拟器，但在 Sequence Mode CalculatorNEXUS.09.904.9 和 Signal Window Filter60099 上失败。

Opus 5.5215c · 6n · 63i

GPT-6 Astra365c · 4n · 47i

MiMo-V2.6-Pro451c · 4n · 34i

每一行是该模型针对该谜题保存的最快程序，仅为示例选取。并非所有都是新的前沿点。

上帝模式：如果模型能看到目标会怎样？

主基准测试隐藏了社区分数。在一项针对六个谜题的独立研究中，五个模型得到：

• 目标：精确的社区分数，显示哪些权衡仍未被打破。
• 诊断：逐周期跟踪和每个节点停滞位置的剖析。
• 边缘情况：一个快速模拟器，运行 10,000 次随机测试并返回失败。
• 更多时间：30 分钟，加上进度扩展，最多 60 分钟。

每个模型都有所提升：GPT-6 Astra 从 82.8 提升到 91.8，GPT-6.1 Sol 从 82.9 提升到 90.6，Opus 5.5 从 81.4 提升到 89.1，Grok 4.7 从 67.5 提升到 75.1，Gemini 4 Argon 的平均记录接近度从 83.5 提升到 87.9。在 30 个模型–谜题组合中有 28 个分数上升。

诊断结果改变了模型接下来的做法。在 Signal Multiplexer22280 上，GPT-6.1 Sol 的第一个通过程序用了 294 个周期。其性能分析显示，节点 2 有 86% 的时间在工作，而节点 1 和节点 3 有 84% 的时间在阻塞等待写入该节点。GPT-6.1 Sol 将分支操作从节点 2 移出，放入这两个相邻节点。下一次运行用了 204 个周期，快了 31%，代价是多了两个节点和五条指令。

信息、工具和时间同时发生了变化，因此本研究无法说明哪一项新增帮助最大。这些运行不在主排行榜和头条计数之内。

谜题：Signal Multiplexer、Sequence Generator、Signal Edge Detector、Interrupt Handler、Sequence Peak Detector 和 Signal Error Corrector。

共同发现

我们将选定的程序提交到排行榜，社区几乎立刻对其进行了改进。在 Undecimal Twin RounderSPEC44149538 上，@LongingForRest 将 Opus 5.5 的 1,918 周期程序在第二天缩短到了 1,744 周期。该纪录现在归功于双方：LongingForRest/opus-5-5。

两者都不是独自做到的。模型很快找到了新的权衡，而玩家阅读这些程序，弄清了它们为何有效，并进一步推进了它们。

数学领域也在经历同样的转变。Terence Tao 及其同事 在 67 个问题上使用了 LLM 引导的搜索，并在其中几个问题上改进了已知最佳结果。在 “After Math” 中，Silvia De Toffoli 和 Eamon Duede 认为，只有当数学家能够理解一个结果时，它才成为解决方案，而 AI 更适合作为助手而非竞争者。TIS-100 是那个未来的一个小型、可度量的版本：模型找到一个更好的程序，人们将其转化为他们能理解的东西。

帕累托探索器

选择一个谜题和模型，然后选择一个点来查看其分数以及生成它的程序。每个谜题也有自己的页面，包含记录和最佳程序：全部 55 个谜题。

正在加载冻结的基准快照…

社区排行榜模型新前沿点

用鼠标或键盘选择一个点以查看其分数。

图中显示周期和指令数；节点数可能不同。新前沿点根据全部三项分数进行评判。

下载全部 3,714 个模型帕累托点（CSV） · 全部 3,714 个程序（ZIP），也可在 GitHub 和 Hugging Face 上获取。186 行被标记为新前沿点，跨模型汇总后为 133 个。

方法

展开

套件。 全部 22 个活动谜题、全部 25 个 TIS-NET 谜题，以及 2018 年的八个锦标赛谜题：19 个简单（10 分钟）、17 个中等（30 分钟）和 19 个困难（45 分钟）。每个模型对每个谜题都有一个计分回合。时间限制因难度而异，因此难度和搜索时间无法分离。

计分。 每个模型–谜题对贡献一个选定的尝试，不采用多次尝试取最佳计分，因此解决率为 pass@1：当该回合保存的程序能在新游戏中重放时，该谜题才算解决。未解决的谜题保留在所有平均值中并计为零分。

新前沿点。 参照的是截至 2026 年 10 月 15 日的社区排行榜。并列不计入。模型在 23 个谜题上找到了 154 个候选点。我们的统计将各模型的候选点汇总并去重，保留其中 18 个谜题上的 133 个点，这些点均通过新游戏重放和 100,000 次通过测试。测试是正确性的有力证据，而非证明。

纪录接近度。 社区纪录除以模型的最佳分数，在三个分数和所有谜题上取平均，再乘以 100。每个分数可以来自不同的程序。

局限。 每对配置只运行一个回合，比较的是测试时的配置，不衡量重复运行的变异性。谜题之间的差异是任务间的变异。公开谜题可能与训练数据重叠。机制分组是我们自己的标签。

程序。 每个模型帕累托点的程序均以 MIT 许可证公开，采用 TIS-100 存档格式，命名方式与社区排行榜的文件一致（<puzzle>.<cycles>-<nodes>-<instructions>.txt）。这些程序在 GitHub 上以每个程序一个文件的形式镜像，并在 Hugging Face 上以表格形式提供。有两个点能在游戏中重放，但无法通过部分随机测试；它们被包含在内，但从不计为新前沿点。

资源。 成本根据记录的 2026 年 10 月 API 标价估算，包含缓存折扣。Token 会在多次响应中累积，因此重复输入会再次计数，且不同分词器存在差异。游戏调用按单独调度的工具计数，包括错误，并排除自动的最终提交。

相关工作

ISA-Bench 研究在受限指令集下的推理，包括 TIS-100。Opus Magnum Bench 测试代理在另一款 Zachtronics 游戏中构建和优化机器的能力。我们专注于在所有 TIS-100 谜题和八个社区谜题上进行优化，保留周期、节点和指令之间的权衡。任务和协议不同，因此分数不能直接比较。

引用

@misc{wincon2026tis100bench,
  title  = {TIS-100 Bench: LLMs Push the Pareto Frontier in Programming Puzzle Games},
  author = {{Wincon}},
  year   = {2026},
  month  = nov,
  url    = {https://tis-100.wincon.dev/},
  note   = {Benchmark snapshot 2026-11-03-v5}
}

致谢

感谢 Zachtronics、TIS-100 玩家，以及社区排行榜、TIS-100-CXX 和排行榜机器人的维护者。他们的解答和工具让这次对比得以实现。还要感谢 @12345ieee、@LongingForRest、@Hersmunch、@easone、@18111398，以及在 Zachtronics Discord 上讨论提交内容并不断改进它们的每一个人。

TIS-100、SpaceChem 和 Opus Magnum 是 Zachtronics 的商标。模型名称和徽标是各自所有者的商标，仅用于标识所测试的模型。Wincon Research 与 Zachtronics 或任何模型提供商均无关联，也未获得其认可。

有问题或想分享反馈？联系我们 ↗