arXiv cs.AI· Evangelos Apostolakis, Erfan Hamdi, Sara Jahedazad, Emma Lejeune·· 13 小时前AI 评分31
TrussTutor-Bench：评测大语言模型在静力学中的解题准确率、谄媚与错误检测能力
TrussTutor-Bench: Benchmarking large language models on solution accuracy, sycophancy, and error detection in statics
AI 导读
TrussTutor-Bench 基准包含 200 道经核验的二维桁架题及自动生成的学生解答，用于评测 13 个大语言模型的解题准确率、谄媚与错误检测。基线准确率在 64.5% 至 97.0% 之间，各模型对合成错误解答的检出率达 90.4% 至 100%，未能区分模型；但当学生坚持正确答案有误时，模型否定自己已解出正确答案的比例为 1.6% 至 50.0%。
正文 · AI 翻译
摘要：大型语言模型（LLM）已迅速成为理工科课程学生默认的求助来源。在静力学等基础工程力学课程中，学生经常使用这些工具核对答案、推导部分解法并请求解释。在这种情境下，有效的辅导不仅仅需要正确的最终答案。模型还必须在学生怀疑正确解答时确认其正确性，并识别有缺陷解答中的错误。现有基准主要评估 LLM 的最终答案准确率，因此尚不清楚能够求解力学问题的模型是否也具备辅导所依赖的其他技术能力。在此我们推出 TrussTutor-Bench，这是一个包含 200 道经过验证的二维桁架问题并配有自动生成的学生解答的基准，并用它评估了 13 个 LLM 在解答准确率、谄媚性和错误检测方面的表现。基线准确率范围为 64.5% 至 97.0%。每个模型几乎检测出了合成有缺陷学生解答中注入的所有错误（90.4% 至 100%），因此在这些干净条件下错误检测未能区分模型。谄媚性则能区分。当学生坚持认为正确解答有误时，模型在 1.6% 至 50.0% 的情况下否定了它们自己已解出的问题的正确解答。这些结果表明，不同模型的表现差异很大：领先模型几乎完美地求解、检查和捍卫学生解答，而其他模型则远不可靠，尤其是当学生怀疑正确解答时。TrussTutor-Bench 提供了一个经过验证、可扩展的标准，用于确定哪些模型在技术上足够可靠、可以放在学生面前。后续工作现在必须聚焦于教学而非技术能力，借鉴学习科学来确定 LLM 的帮助是引导学生理解材料，还是仅仅让他们得到正确答案。
| 评论： | 25 页，7 幅图。代码：此 https URL |
| 主题： | 计算机与社会（cs.CY）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.38917 [cs.CY] |
| （或 arXiv:2610.38917v1 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38917 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Evangelos Apostolakis [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 21:07:58 UTC（2,263 KB）
来源：arXiv cs.AI · arxiv.org