arXiv cs.CL· Jiayi Kuang, Yinghui Li, Yunze Song, Keyu Chen, Zhifeng Shen, Yangning Li, Yidong Wang, Di Yin, Ruizhi Qiao, Xing Sun, Kai Jin, Ying Shen, Liang Lin, Philip S. Yu·· 12 小时前AI 评分31
从原子能力到智能体：面向 LLM 智能体数学能力的可解释评测框架
From Atomic to Agentic: Towards Interpretable Evaluation of LLMs' Agentic Mathematical Capabilities
AI 导读
研究者提出一个过程级基准，用于评测 LLM 的智能体数学推理能力，将解题行为对齐到可复用数学原子能力的结构化分类体系。该框架覆盖文本与多模态场景下的规划、行动和反馈任务，并通过自动化流水线合成高质量轨迹、借助受控 LLM 改写生成细粒度标注。实验显示，端到端准确率相近的模型在智能体能力画像上存在明显差异。
正文 · AI 翻译
作者：Jiayi Kuang、Yinghui Li、Yunze Song、Keyu Chen、Zhifeng Shen、Yangning Li、Yidong Wang、Di Yin、Ruizhi Qiao、Xing Sun、Kai Jin、Ying Shen、Liang Lin、Philip S. Yu
摘要：大型语言模型（LLM）正从执行端到端的数学推理，演进为融合智能体式智能。然而，现有的大多数数学基准仅评估最终答案。这种以结果为导向的评估在识别过程层面的失败或严谨逻辑方面诊断价值有限，无法指导 LLM 向稳健智能体的转变。为弥补这一空白，我们提出了一个过程级基准，旨在评估 LLM 固有的智能体式数学推理能力。我们的框架将问题求解的智能体行为与可复用数学原子能力的结构化分类体系对齐。我们设计了一套涵盖文本与多模态场景的规划、行动和反馈任务的综合套件，并由一条自动化流水线支撑，该流水线可合成高质量轨迹，并通过受控的 LLM 重写生成细粒度标注。实验表明，端到端准确率相近的模型可能展现出显著不同的智能体能力画像。这表明，过程级评估对于解读 LLM 的真实潜力、指导下一代数学智能体的开发至关重要。
| 评论： | EMNLP 2026 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用格式： | arXiv:2608.26950 [cs.AI] |
| （或本版本的 arXiv:2608.26950v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2608.26950 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yinghui Li [查看邮箱]
[v1]
2026年8月27日 周四 10:52:06 UTC（1,135 KB）
[v2]
2026年10月21日 周三 01:46:52 UTC（1,142 KB）
来源：arXiv cs.CL · arxiv.org