arXiv cs.CL· Xiaojun Wu, Cehao Yang, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo·· 11 小时前AI 评分34
TB-MathModel：首个面向数学建模的智能体化可验证基准
Terminal-style Mathematical Modeling Bench: The First Agentic and Verifiable Benchmark for Mathematical Modeling
AI 导读
TB-MathModel 是首个同时做到智能体化、可验证、终端化的数学建模基准，覆盖 2023–2025 年 18 道真实 CUMCM 与 MCM 赛题。智能体在容器化终端中返回单个 JSON 产物，按最终问题数值核心对照特等奖论文复现结果评分，并采用方向感知单侧评分与两层可行性验证（六类可判定不变量程序门 + 624 条 Lean 4 义务）。
正文 · AI 翻译
摘要：数学建模将开放式的现实问题转化为假设、模型、求解方案以及有依据的建议，而只有当其答案既接近可信的参考结果又在物理上可行时，这些答案才有意义；现有基准要么只对求解器片段打分，要么用 LLM 评审对报告评分，使这些数值未经核验。我们提出 TB-MathModel（Terminal 风格数学建模基准），这是首个让完整竞赛风格建模问题同时具备智能体化、可验证和终端化特性的基准，涵盖 18 道真实的 CUMCM 和 MCM 题目（2023--2025）。每项任务都在容器化终端中提供逐字题面、官方附件和图表；智能体返回一个 JSON 产物，针对复现的 Outstanding 奖论文，按最终问题的数值核心进行评分。两项设计选择使其与众不同：方向感知的单侧评分，绝不惩罚超越基准锚点的结果；以及两层可行性验证——对六种可判定不变式形式进行程序化门控，外加 624 条 Lean~4 义务——并设有硬性门控，将不可行答案归零。每项任务都对照一组人类优秀论文而非单篇论文评分，因此模型必须接近多个被认可的答案；在七个多模态参赛项（各三个种子）中，最强项达到多参考 O-Eval 64.58\%，而 \$2.54 的开源模型以 $1/100$ 的成本保持 59.81\%。TB-MathModel 将建模的数值核心转化为可复现、机器可检查的信号，用于衡量长时程建模能力并收集智能体轨迹。源代码见 此 https URL。
| Comments: | 20 页，4 幅图，14 张表 |
| Subjects: | 计算与语言（cs.CL） |
| Cite as: | arXiv:2611.08237 [cs.CL] |
| （或 arXiv:2611.08237v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.08237 arXiv 颁发的 DOI 经由 DataCite（待注册） |
Submission history
来自：Xiaojun Wu [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 16:18:35 UTC（902 KB）
来源：arXiv cs.CL · arxiv.org