arXiv cs.AI· Shradha Agarwal, Deepak Rajbhar, Tariq J·· 11 小时前AI 评分44
LinAlg-Bench：揭示 LLM 数学推理结构性失效模式的法证基准
LinAlg-Bench: A Forensic Benchmark Revealing Structural Failure Modes in LLM Mathematical Reasoning
AI 导读
LinAlg-Bench 在 3x3、4x4、5x5 矩阵维度梯度上评测 10 个前沿大语言模型，覆盖 9 类任务、660 道 SymPy 认证题目，共检验 6,600 条模型输出。
正文 · AI 翻译
摘要：我们提出 LinAlg-Bench，这是一个诊断性基准，在 3x3、4x4 和 5x5 矩阵构成的严格维度梯度上，评估 10 个前沿大语言模型的结构化线性代数计算能力。该基准涵盖 9 种任务类型和 660 道经 SymPy 认证的题目，共详尽评估 6,600 条模型输出。除二元准确率外，LinAlg-Bench 还引入三阶段自动化取证流程，将 1,156 次失败归类为十个主要错误标签及细粒度子类型，揭示出大语言模型的数学失败并非随机，而是受算法类型和矩阵维度在结构上的约束。我们的核心发现是 4x4 规模处存在一个明显的行为阈值：低于该阈值时，模型因执行错误而失败——符号跟踪失败、算术漂移和奇偶错误；高于该阈值时，失败转变为计算放弃，模型通过工具角色扮演、约束一致的虚构和结构化幻觉来编造回答，而非尝试计算。这种从编造到放弃的转变在所有模型层级和架构中几乎普遍存在，表明这是工作记忆限制而非知识缺口，并得到三种规模涌现错误类型的支持——这些错误在 3x3 时不存在，但在 4x4 和 5x5 时出现。我们进一步表明，解题策略僵化是 5x5 行列式准确率的近乎完美预测因子，记录了约束感知虚构作为一种新型结构化幻觉失败模式，并公开发布所有数据、模型输出、错误标签和评判流程。
| 评论： | 42 页，3 幅图，12 张表。简短版本已被 NeurIPS 2026 第六届 MATH-AI 研讨会接收为海报：此 https URL。数据集：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.16675 [cs.AI] |
| （或 arXiv:2605.16675v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.16675 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shradha Agarwal [查看电子邮件]
[v1]
2026 年 5 月 15 日星期五 22:30:57 UTC（1,331 KB）
[v2]
2026 年 11 月 4 日星期三 22:37:52 UTC（1,336 KB）
来源：arXiv cs.AI · arxiv.org