arXiv cs.CY· Julian Bernado, Ana Trindade Ribeiro, Xander Beberman, Susanna Loeb·· 3 天前AI 评分24
EduBehaviors：面向教育对话可审计标注的基于断言的 Schema 框架
EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues
AI 导读
EduBehaviors 框架用于在教育对话数据中生成可解释、可靠且可扩展的构念标注，在 TalkMoves 数据集上预测 Teacher TalkMoves 标签，最佳配置取得 macro-F1 0.764 和 Cohen's kappa 0.756，优于直接提示方法并与微调分类器相当，同时具备更高透明度与可比性。
正文 · AI 翻译
摘要：大语言模型使得语言分类与分析得以快速部署，使用户能够用自然语言描述复杂构念，如教学行为或学习与参与的表达，并在课堂或辅导转录等对话数据集中对其进行标注。然而，由于大语言模型的推理过程不透明，我们无法获得可验证、机制性的洞见来解释模型为何为某句话选择某个标签，而且随时间或跨模型产生的输出差异也给复现带来了挑战。我们提出 EduBehaviors 框架，用于在教育对话数据中生成可解释、可靠且可扩展的构念标注，在利用生成式 AI、编码器和机器学习模型优势的同时保留人的能动性。我们在 TalkMoves 数据集上评估该框架，预测 Teacher TalkMoves 标签。我们最佳配置的宏 F1 为 0.764，Cohen's kappa 为 0.756，表明其相较直接提示方法有所改进，并显示出与微调分类器相当的竞争力，同时获得了更高透明度和可比性的优势。为便于其他研究人员在教育对话数据中采用和实际运用 EduBehaviors 框架，我们还发布了 EduBehaviors Toolkit，其中包含两个基于 TalkMoves 应用的互补开源工具。
| 学科： | 计算与语言（cs.CL）；计算机与社会（cs.CY）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.27043 [cs.CL] |
| （或 arXiv:2609.27043v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.27043 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Ana Trindade Ribeiro [查看电子邮件]
[v1]
2026年9月22日星期二 20:38:54 UTC（869 KB）
[v2]
2026年10月13日星期二 22:50:27 UTC（3,852 KB）
来源：arXiv cs.CY · arxiv.org