MisconceptDialogue：评分标准如何影响 LLM 数学辅导的成功率测量

查看 PDF HTML（实验性）

摘要：大语言模型越来越多地被用作数学辅导老师，这引出了两个问题：单个 LLM 能否发现学生的错误、诊断出背后的错误概念，并通过多轮对话加以纠正——以及我们能否信任那些报告其表现如何的数字？我们通过 MISCONCEPTDIALOGUE 同时解决这两个问题，这是一个全自动框架，在五个开放权重 LLM 辅导老师（7B-14B）与 LLM 模拟学生之间运行完整流程，涉及 5,000 多段对话——这是一个刻意模拟的协议（配对条件、在真实学习者身上不安全且规模受限的错误诊断对照），其结果并不能确立真实学生的学习效果。在测量方面，我们的主要发现对该领域而言令人不安：标准数学 NLP 中常见的基准式精确匹配评分——一种下界压力测试——在相同对话上报告的实测纠正成功率为 42.1%，而经人工校准的 LLM 作为评判者报告为 81.3%，39.2 个百分点的差距大于辅导模型、教学策略和所提供诊断信息三者效应的总和。这并非单一评判者的假象：四个独立的 LLM 评判者和 200 条人工标注的结果收敛在几个百分点之内（kappa 最高达 0.91）。在能力方面，结论同样引人注目：无论我们告诉辅导老师学生的真实错误概念还是故意调换的错误概念，得分几乎不变——在测试的诊断呈现格式下，这些辅导老师几乎没有证据表明能可靠地依据交给它们的诊断信息进行条件化。为使 LLM 辅导评估走向成熟，采用多评判者收敛和人工锚定的多标准评分应成为标准做法——而测量问题值得像它所声称要回答的能力问题一样受到严格审视。

提交历史

来自：Woojin Lee [查看电子邮件]
[v1] 2026 年 10 月 1 日星期四 05:48:24 UTC（465 KB）