arXiv cs.CL· Shengran Guo, Min Chi, Feifei Qiao, Varad Patwardhan·· 10 小时前AI 评分27
AICG：面向数学简答题自动评分的 AI 感知认知监督框架
Beyond Response Scoring: An AI-aware Cognitive Supervision Framework for Automated Mathematical Short Answer Grading
AI 导读
研究者提出 AICG 双分支多任务框架，用于数学简答题自动评分，在 49,402 条教师评分作答上相较 RoBERTa 回归将 MAE 降低 50.3%，QWK 从 0.798 提升至 0.927。
正文 · AI 翻译
摘要：基于 Transformer 的语言模型在自动简答题评分（ASAG）中取得了显著成功。然而，当前 ASAG 中的方法难以理解、推理和评估涉及符号与公式的复杂数学答案。这些仅输出分数的方法无法在得分相同的多样回答与技能状态之间泛化。此外，它们忽略了生成式人工智能（AI）使用在评估学生表现和知识掌握程度时可能引入的上行偏差。为解决这些局限，我们提出 AICG（AI 感知的认知监督评分），一个双分支多任务框架。第一个分支结合基于 RoBERTa 的回归、序数和分类头进行单答案评分。第二个分支使用专家设计的 Q 矩阵将回答与所评估技能关联，并联合预测 G-DINA 衍生的技能掌握度和学习增益。通过共享编码器，这些技能级目标为答案评分提供了超越分数标签的认知监督。AICG 进一步使用生成式 AI 检测器，该检测器通过监督对比预训练后接线性分类训练，用于估计辅助概率并将其转换为可靠性权重，在学习评估中衰减不可靠的认知证据。我们在跨越 19 个学期的 49,402 份教师评分回答上进行了实验。相对于 RoBERTa 回归，AICG 将平均绝对误差（MAE）降低了 50.3%，并将二次加权 kappa（QWK）从 0.798 提升至 0.927。消融实验表明，Q 矩阵引导的认知监督是改进的主要来源，而 AI 感知加权在未加权认知模型基础上进一步将总体 MAE 降低 4.2%，并在最近四个后生成式 AI 学期中持续改善 MAE 和 QWK。
| 评论： | 12 页，包括参考文献和附录 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41215 [cs.CL] |
| （或 arXiv:2610.41215v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.41215 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shengran Guo [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 03:52:32 UTC（548 KB）
来源：arXiv cs.CL · arxiv.org