arXiv cs.AI· Yifan Luo, Zhengying Liu, Yang Yuan, Zhilin Yang, Andrew Chi-Chih Yao·· 11 小时前AI 评分38
TCSExam：评估前沿 LLM 在 TCS 全领域研究能力的基准
TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research
AI 导读
研究团队推出 TCSExam 基准，覆盖理论计算机科学（TCS）全领域研究，评估定理证明、求解器工程、构造以及直接攻克开放猜想四类任务。TCSExam-Full 含 100 个专家审核任务，提交结果由 Lean kernel 或可执行检查器验证；TCSExam-Lite 选取 20 个任务，在同等单次预算下将尝试次数减少 80%。
正文 · AI 翻译
摘要：大型语言模型（LLM）能否推动理论计算机科学的发展，并解决其长期悬而未决的猜想？为研究这一目标的进展，我们推出 TCSExam，一个覆盖 TCS 研究全范围的统一框架与基准。它评估定理证明、求解器工程和构造，以及对开放猜想的直接解决尝试，既涵盖具体研究成果，也涵盖朝向长期研究目标的进展。TCSExam-Full 包含 100 个经专家评审的任务，提交结果由 Lean 内核或可执行任务检查器核验。TCSExam-Lite 选取 20 个任务，每条赛道五个，在单次尝试预算相同的情况下将任务尝试次数减少 80%。我们在 Full 上评估了八个智能体，在 Lite 上评估了九个。TCSExam 指数综合全部四条赛道：GPT-6 Astra 在 Full 上领先（71.9），Opus 5.5 在 Lite 上领先（72.3）。Full 与 Lite 的排名在八个共同智能体上高度一致（Spearman's $\rho=0.93$），支持将 Lite 作为紧凑、有区分度的基准。评估产生了改进的求解器输出和数学构造，以及来自开放猜想尝试的经独立验证的特例和界。TCSExam 提供可扩展框架，包含任务来源、Docker 构建配方和评估工具，以供可复现使用。
| 评论： | 52 页，15 幅图。项目网站：此 https URL 代码：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07962 [cs.AI] |
| （或 arXiv:2611.07962v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07962 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yifan Luo [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 12:58:43 UTC（956 KB）
来源：arXiv cs.AI · arxiv.org