arXiv cs.CL· Ziqi Liu, Ruiwei Xiao, Yuxuan Li, John Stamper·· 11 小时前AI 评分38
EduWild 研究：教师配置的教育聊天机器人在真实使用中如何失效及如何修复
EduWild: How Teacher-Configured Chatbots Fail in Real-World Use and How to Fix Them
AI 导读
研究发布 EduWild 数据集，包含 217 个教师配置聊天机器人的 1,726 段对话及对应配置说明，其中 900 段来自 35 个已部署机器人的真实终端用户。
正文 · AI 翻译
摘要：教师越来越多地通过自然语言指令来配置教育聊天机器人，但这些机器人在实际使用中如何失败仍鲜为人知。我们推出 EduWild，这是一个包含 1,726 段对话的数据集，涉及 217 个由教师配置的聊天机器人，每段对话都配有背后的指令和配置，其中包括来自 35 个已部署聊天机器人的目标最终用户的 900 段对话。我们开发了一套包含 29 个代码的分类体系，涵盖事实性、工作流、诊断性和教学性失败，并使用经人工校准的 LLM 评判器加以应用。最常见的失败是未能遵循教师意图——机器人跳过必需的工作流步骤（占最终用户对话的 53.8%）、省略预期设定（33.4%），以及让学习者承受过多信息或问题（37.1%）。在这些发现的指导下，我们设计了一个基于提示的框架，针对六种最常见的失败模式。在一项涉及十款机器人、200 名大学生的研究中，该框架将每段对话中目标失败代码的平均数量从 1.406 降至 0.489，在机器人等权加权的情况下相对减少了 65.2%。这些发现表明，真实世界的失败分析可以如何指导教育聊天机器人的实际改进。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23530 [cs.CL] |
| （或 arXiv:2610.23530v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23530 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziqi Liu [查看电子邮件]
[v1]
2026年10月16日星期五 14:28:06 UTC（2,746 KB）
来源：arXiv cs.CL · arxiv.org