arXiv cs.AI· Simon Henniger, Gabriel Poesia·· 3 天前AI 评分36
The Token Games：用解谜对决评估语言模型推理能力
The Token Games: Evaluating Language Model Reasoning with Puzzle Duels
AI 导读
研究者提出 The Token Games（TTG）评估框架，让模型互相出题进行编程解谜对决，再根据两两对决结果计算 Elo 评分。在 10 个前沿模型上，TTG 排名与 Humanity's Last Exam 等现有基准高度吻合，成本不到 200 美元且无需人工出题。研究同时发现，当前模型生成优质谜题仍相当困难。
正文 · AI 翻译
摘要：随着模型不断改进，评估大型语言模型的推理能力变得越来越具有挑战性。人工筛选难题的成本极高，尤其是在近期使用博士级领域知识来挑战最强模型的基准测试中。即便如此，人们始终担心这些问题究竟是在测试真正的推理能力，还是模型在训练过程中已经见过类似问题。在此，我们从 16 世纪的数学决斗中汲取灵感，设计了 The Token Games（TTG）：一个让模型通过创建自己的谜题来相互挑战的评估框架。我们利用编程谜题的格式——给定一个返回布尔值的函数，找出使其返回 True 的输入——来灵活地表示问题并支持验证解。利用成对决斗的结果，我们计算 Elo 评分，从而能够相对地比较各个模型。我们在 TTG 上评估了 10 个前沿模型，其排名与 Humanity's Last Exam 等现有基准测试高度吻合，花费不到 200 美元，且无需任何人工参与创建谜题。我们还发现，对于当前模型而言，创建好的谜题仍然是一项极具挑战性的任务。总体而言，我们的工作提出了评估推理的新范式，这种范式在设计上避免了饱和，并允许在测试问题解决能力的同时测试模型的其他技能，如创造力和任务创建能力。
| 评论： | 项目网站：this https URL |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2602.17831 [cs.AI] |
| （或 arXiv:2602.17831v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.17831 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Simon Henniger [查看邮箱]
[v1]
2026 年 2 月 19 日星期四 20:49:15 UTC（482 KB）
[v2]
2026 年 5 月 15 日星期五 20:00:59 UTC（459 KB）
[v3]
2026 年 10 月 12 日星期一 20:25:01 UTC（568 KB）
来源：arXiv cs.AI · arxiv.org