arXiv cs.CY· Daniel Dom\'inguez Figaredo, Rafael Fern\'andez De la Cruz·· 9 天前AI 评分52
研究：按教学指标微调会让 LLM 辅导质量下降
The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring
AI 导读
一项研究设计了教学适应性指标，在 2000 个学习者场景中审计一个前沿 LLM 辅导模型，并用开源权重代理模型微调修正其最弱案例。31 位受训教育者盲评显示，修正案例的指标从 +0.05 升到 +0.42，但专家评分从 4.46 降到 3.03，未修改的对照组保持不变。
正文 · AI 翻译
摘要：人们通常认为，提升大语言模型导师教学质量的天然途径是定义一个教学表现指标，并据此对模型进行微调。为检验这一策略，我们设计了一个教学适应性指标，该指标依据学习情境的条件对学习序列中的每一项教学决策进行评分，这也是自动化教学评分的标准做法。我们审计了一个前沿导师模型在 2,000 个学习者场景中的表现，通过微调一个开放权重代理模型来纠正其最弱的案例，并请 31 位受过培训的教育工作者在不知情的情况下，对纠正前后输出的教学一致性进行评分。纠正后案例的指标从 +0.05 升至 +0.42，而专家评分却从 4.46 降至 3.03，未修改的对照组保持不变，且一个基础代理对照排除了模型变更的影响。该导师表现更差，是因为任何独立地对决策评分并取平均的指标，都会因重复单一最佳决策而达到最大化，而微调后的模型在每个案例中都收敛到了这一精确最优解，无论样本内还是样本外。教育工作者识别出了这种重复，而此类指标无法表示它；在评分中保留学习者的轨迹降低了该指标的判定，但并未将其逆转。权重分析将这一纠正追溯到模型的输出投影，在那里模型记忆了训练字符串，而非学会适应。我们得出结论：测量效度并不意味着优化效度，并由此推导出用于评估或训练 AI 导师教学基准的设计原则。
| 评论： | 33 页，7 幅图，5 张表 |
| 主题： | 计算机与社会（cs.CY） |
| MSC 分类： | 97U50, 68T50, 68T05 |
| ACM 分类： | K.3.1; I.2.7; I.2.6 |
| 引用为： | arXiv:2610.12125 [cs.CY] |
| （或 arXiv:2610.12125v1 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12125 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Daniel Domínguez Figaredo [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 15:18:26 UTC（2,067 KB）
来源：arXiv cs.CY · arxiv.org