arXiv cs.CL· Yeon Su Park, Chanyoung Park, Tae Soo Kim, Seungju Kim, Hyunwoo Kim, Daho Jung, Jinsung Yoon, Juho Kim·· 12 小时前AI 评分34
TutorCaseBench：评估 LLM 辅导者应对学生挑战性行为的案例基准
TutorCaseBench: A Case-Grounded Benchmark for Evaluating LLM Tutors in Supporting Students with Challenging Behaviors
AI 导读
研究团队推出 TutorCaseBench，一个基于教育学、教育心理学和特殊教育定性案例的 AI 辅导评估基准，包含 923 段对话、覆盖五类挑战行为，含 1,560 道开放式生成题与 2,537 道选择题。在 11 个 SOTA LLM 中，最强模型在开放式场景中仅 55.8% 满足评分标准，且模型选择合适策略的能力强于生成情境化回应，开源权重模型差距尤为明显。数据已公开。
正文 · AI 翻译
摘要：LLM 正越来越多地被用作 AI 导师，但现有基准忽视了有学习和行为困难的学生中常见的挑战性行为。我们推出 TutorCaseBench，这是一个将 AI 导师评估建立在教育学、教育心理学和特殊教育定性案例研究基础上的基准。我们的流程将记录在案的学生类别转换为具体案例场景、导师-学生对话以及基于来源证据的评分标准。该基准包含跨五种挑战类型的 923 段对话，通过开放式回答生成（1,560 项）和多项选择（2,537 项）进行评估。在 11 个最先进的 LLM 中，即使是最强的模型也仅在 55.8% 的开放式案例中满足评分标准的一项标准，而模型在选择适当策略方面比生成情境化回答表现更好。这些结果揭示了干预识别与情境特定适应之间的差距，尤其是对于开放权重模型。所有数据均公开于 此 https URL。
| 评论： | 审稿中 |
| 主题： | 计算与语言（cs.CL）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.30828 [cs.CL] |
| （或 arXiv:2610.30828v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30828 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yeon Su Park [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 06:58:46 UTC（11,027 KB）
来源：arXiv cs.CL · arxiv.org