微软 StudentSim：用个性化学生模拟器评估和改进 AI 辅导系统

A conceptual diagram of the feedback loop required to improve an AI tutor. The middle part of the figure shows that a human teacher gives guidance to a real student and receives the student’s feedback, but this feedback is slow, costly, sparse, and hard to scale. On the right panel of the figure, an AI student simulator is trained from real student feedback and serves as a fast proxy for the student during tutor development.

概览

StudentSim 是一个研究系统，用于在真实学习者测试之前评估和改进 AI 导师；它不是产品，未部署在课堂中，也不打算取代教师
AI 辅导工具需要学生的反馈来改进，但通过人工研究收集反馈速度慢、成本高且难以规模化
StudentSim 利用公开的、去标识化的学习者记录训练个性化的 AI 学生模拟器，每个学生对应一个适配的模拟器
该工作从两个基于教育的维度评估模拟器：它们是否像特定学生那样作答，以及它们在导师指导后是否会更新
在国际象棋、第二语言英语写作和数学领域，StudentSim 均优于领先的基线方法，并为训练 AI 导师提供了有用的反馈信号

在研究环境中，团队正在探索 AI 驱动的辅导系统如何帮助解释一道数学题、为写作作业提出修改建议，或引导学习者分析一个国际象棋局面。然而，教学质量不能仅从导师的回答来衡量。导师需要知道指导传达给学生后发生了什么。学生是否纠正了最初的错误？提示是帮助他们推理出答案，还是透露了太多？不同的学生是否需要不同类型的支持？在当今的 AI 导师研究中，回答这些问题通常需要真实的学习者研究。这些研究很有价值，但运行起来缓慢且成本高昂，这使得在快速模型迭代期间很难利用学生反馈。

StudentSim 是一个 AI 系统，它创建个体学生的个性化模拟器，建模他们如何回答问题以及他们的答案在收到导师指导后如何变化。目标是让 AI 导师开发过程中更容易获得学生反馈。这项研究还引入了 StudentSimEval，一个涵盖国际象棋、第二语言英语写作和数学的基准与评估协议。

重要的是，目标不是取代教师或课堂学习。相反，StudentSim 帮助研究人员在研发过程中评估和改进 AI 辅导系统，然后再用真实学习者进行测试。该研究仅使用为研究用途发布的、去标识化记录的公开学习者数据集；任何阶段都不使用个人身份信息。

**Alt text:** A conceptual diagram of the feedback loop required to improve an AI tutor. The middle part of the figure shows that a human teacher gives guidance to a real student and receives the student’s feedback, but this feedback is slow, costly, sparse, and hard to scale. On the right panel of the figure, an AI student simulator is trained from real student feedback and serves as a fast proxy for the student during tutor development. — *图 1：* *AI 导师需要学生的反馈来改进。学生模拟器可以在研究阶段的训练和评估中近似提供部分反馈。* 它们 *提供的是早期研究信号，不能替代用真实学习者进行的测试。*

衡量学生模拟器需要做什么

构建学生模拟器的一种简单方法是让大语言模型扮演学习者。例如，提示词可能说：“你是一个数学有困难的 elementary-school 学生。”模型可以改变语气并表达不确定性。更难的部分是保持学习者真实的能力边界。模型可能用年幼学生的口吻说话，却仍然依赖远超该学生水平的知识和推理。对于训练 AI 导师来说，这会产生误导性的反馈：导师可能看起来有效，只是因为模拟的学生能力太强。

传统的学生建模方法面临一个不同的局限。知识追踪和行为预测模型以真实的学习记录为基础，能够估计学生当前的知识、技能和学习习惯。然而，这些模型中的许多并未被设计为将自然语言的导师指导作为输入。它们可以帮助描述学生做过什么，但并不总能告诉我们学生会对某个特定的讲解、提示或苏格拉底式问题作出怎样的反应。

StudentSim 通过受教育研究启发的两个维度来定义目标。教育工作者常常区分学习者能独立完成的事与在支持下能完成的事。维果茨基的最近发展区捕捉了当前独立表现与在指导下表现之间的这一差距。 StudentSim 将这一理念转化为两个评估目标。行为保真度衡量模拟器在留出问题上是否与特定学生记录的反应相匹配。指导响应性衡量模拟器在阅读导师指导后是否会更新其反应。

**Alt text:** Diagram defining the two evaluation criteria used for student simulators. The upper portion shows a problem, “minus 7.3 times 5 equals what.” The lower portion compares a real student and an AI simulator. Both initially answer 36.5, then receive guidance and revise their answer to negative 36.5. Asking whether a simulator’s responses match the recorded student answers is behavioral fidelity. Matching the guidance-induced change is guidance responsiveness. — *图 2：StudentSimEval 评估模拟器是否与学生的独立行为相匹配，以及它是否对指导作出响应。*

这两个目标互为补充。一个只匹配学生过往行为的模拟器可能对预测有用，但它无法表明教学干预是否起了作用。一个总是遵循导师的模拟器可能反应流畅，但它可能无法体现特定学生的优势、劣势和可能的错误。AI 导师训练需要两种信号：学习者的起点以及指导如何影响学习者的表现。

从稀疏的学生记录中训练个性化模拟器

StudentSimEval 完全基于公开可用的学习者数据集构建，这些数据集以去标识化记录的形式发布供研究使用。这些记录不包含任何个人身份信息，每个个性化模拟器仅在其所代表学生的去标识化记录上进行训练。

真实的学生数据在个体层面往往很稀疏。一个学习者可能只贡献少量作文、答案或交互。为每个学生从零开始训练一个单独的模拟器会有过拟合的风险，并且会要求每个模型重新学习该领域的常见模式。

StudentSim 使用两阶段训练流程。在第一阶段，模型在同一领域众多学生汇总的记录上进行训练。这一阶段学习常见的回答格式、常见错误以及学生在接受指导后修正的常见方式。在第二阶段，模型在单个学生自己的记录上进行专门化，从而为该学生生成个性化模拟器。

**Alt text:** A two-stage pipeline for training personalized StudentSim models from sparse student records. At the top, several students each have limited examples of question-answer interactions and answer revisions following tutor guidance. In the middle, stage one training, records from all students are pooled to learn shared behavioral patterns, including the space of possible responses, common mistakes, and typical revisions after guidance. At the bottom, stage two training, the model is adapted separately to each student’s records, producing one personalized simulator per student. — *图 3：StudentSim 首先从汇总记录中学习共享的学生行为，然后适应每个学生自己的数据。*

该评估涵盖三个具有不同响应类型的领域。在国际象棋中，模拟器预测玩家的下一步棋，以及该玩家在接受指导后可能如何调整。在第二语言英语写作中，它生成与学习者错误模式相匹配的作文，并预测教师在反馈后的纠正。在数学中，它预测学生的多项选择题答案，以及学生在解释后是否会更新答案。在这些领域中，StudentSimEval 使用相同的原则：在相同的每个学生训练记录和相同的留出评估记录上比较所有方法。

StudentSim 在三个领域中都优于领先的基线。例如，在国际象棋中，StudentSim 达到 0.5150 的行为保真度和 0.9067 的指导响应度。GPT-5.4 分别达到 0.2316 和 0.7186。Maia2，一个专门用于国际象棋的人类走子预测模型，达到 0.4535 和 0.2721。这一比较说明了基线家族之间的差异：GPT-5.4 能够响应指导，但不能可靠地匹配特定学生的行为，而 Maia2 更接近地预测人类国际象棋走子，但缺乏自然语言指导路径。

**Alt text:** Scatter plot comparing three student simulation approaches on behavioral fidelity, shown on the horizontal axis, and guidance responsiveness, shown on the vertical axis. StudentSim is positioned in the upper-right at approximately 0.51 fidelity and 0.91 responsiveness. A prompted GPT-5.4 model has lower fidelity, approximately 0.23, and moderate responsiveness, approximately 0.72. Maia2, a state-tracking model, has moderate fidelity, approximately 0.45, but low responsiveness, approximately 0.27. The plot shows that StudentSim performs strongly on both criteria. — *图 4：在国际象棋中，StudentSim 与领先基线相比，同时提高了行为保真度和指导响应度。*

使用模拟反馈来改进 AI 导师

该研究还测试了训练有素的学生模拟器是否能为导师优化提供反馈。在一项国际象棋导师强化学习研究中，导师接收一个局面和一名真实学生之前的错误走子，然后生成指导。在此过程中，学生模拟器自身的参数保持固定，它读取指导并产生修正后的走子。奖励基于从学生之前的走子到模拟器修正后走子的走子质量提升，使用 Stockfish 作为独立的国际象棋引擎信号。

**Alt text:** Diagram of reinforcement learning for an AI chess tutor using StudentSim as the feedback source. Each episode begins with a real student’s chess position and previous incorrect move. The AI tutor receives this context and generates guidance describing what and how to teach. A frozen, personalized AI student simulator reads the guidance and produces a revised move. The reward equals the improvement in chess evaluation from the student’s original move to the revised move, and this reward updates the AI tutor policy while the simulator remains fixed. — *图 5：StudentSim 可以通过估计学生在指导后响应如何变化，在 AI 导师强化学习期间提供反馈。*

该研究比较了三种条件：一个没有强化学习的监督微调导师，一个使用 GPT-5.4 作为模拟学生奖励来源训练的导师，以及一个使用 StudentSim 作为奖励来源训练的导师。所有条件使用相同的导师策略、监督起点和强化学习设置。然后，人类国际象棋专家在不知道条件的情况下评估导师响应。

StudentSim 奖励在所有报告的维度上产生了评分最高的导师。使用 StudentSim 训练的导师达到 90.5% 的准确率，相比之下，无强化学习基线为 75.7%，GPT-5.4 奖励条件为 71.6%。它在指导质量和个性化方面也获得更高的评分。这一结果是一个概念验证，表明在真实学习者数据上训练的学生模拟器可以为改进 AI 导师提供有用的反馈。

展望未来

StudentSim 并没有消除教育研究中真实学习者的必要性。人类研究对于衡量学习成果、安全性、可用性和课堂适应性仍然至关重要。学生模拟器的作用在于开发过程的早期阶段：它们可以帮助研究人员测试导师策略、比较模型，并在转向使用真实学生进行更昂贵的研究之前完善训练信号。

更广泛的方向是构建能够从学生反应中学习的 AI 辅导系统，而不仅仅是从专家撰写的解释或静态的正确性标签中学习。 StudentSim 展示了一条路径：利用真实学习记录训练个性化模拟器，在独立行为和响应指导两方面评估这些模拟器，并将它们用作辅导系统训练的可扩展反馈来源。未来的工作可以将这一方法扩展到更长的学习轨迹、更多学科、更丰富的学生画像，以及将模拟反馈与真实学习成果联系起来的研究。

该论文以及 StudentSim 的训练和评估代码（包括 StudentSimEval 协议）已公开。

来源

论文

代码

在新标签页中打开

文章模拟学生学习以实现更好的 AI 辅导首次发表于 Microsoft Research。