arXiv cs.CL· Sandesh Kumar Kafle, Jan Vykopal, Valdemar \v{S}v\'abensk\'y·· 11 小时前AI 评分31
基于评分标准的小语言模型学生报告评估方案
Rubric-Based Assessment of Student Reports Using Small Language Models
AI 导读
一项研究提出基于小语言模型的自动化评估流水线，用于批改网络安全课程学生报告，纯文本评估准确率最高达 97%，富文本评估达 94%，可媲美甚至超越大模型。该方案整合轻量语言模型与视觉语言模型，支持本地部署、保护隐私，在低成本硬件上运行，已开源。研究基于两个学期 105 名学生的数据，论文被 SIGCSE TS 2027 接收。
正文 · AI 翻译
摘要：语言模型可以使用预定义的评分标准分析并评估学生文本，并给出结构化反馈，从而减轻教师的工作量。然而，现有解决方案通常依赖外部服务，这些服务资源消耗大、成本高，并引发隐私问题，使其不适合受限环境。本研究评估了一条自动化评估流水线，具有三个关键目标：面向低资源环境设计、注重隐私，并聚焦于网络安全教育这一新颖场景。该流水线集成了用于文本评估的轻量级语言模型和用于图像解读的视觉语言模型。在一个网络安全事件响应练习中，收集了本科课程两个学期共 105 名学生的回答。不同硬件配置下的结果表明，低资源环境中的小型模型在纯文本评估中可达到高达 97% 的准确率，在富文本评估中可达到高达 94%。这媲美甚至超越了一个大型模型，同时增加了本地托管评估的优势。我们的解决方案可以帮助需要评分协助但不替代人工监督的教育工作者和从业者，尤其是在基于云的解决方案可能不切实际的环境中。本研究贡献了一条开源、可本地部署的 AI 辅助评分流水线，它可在经济实惠的硬件上运行，并可扩展到计算教育中各种类型的学生报告。因此，它使自动化评估能够惠及广泛的教育工作者和机构。
| 评论： | 完整论文已被第 58 届 ACM 计算机科学教育技术研讨会（SIGCSE TS 2027）接收 |
| 主题： | 计算机与社会（cs.CY）；计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2611.01785 [cs.CY] |
| （或 arXiv:2611.01785v1 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01785 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 相关 DOI： | https://doi.org/10.1145/3857222.3860169
链接到相关资源的 DOI |
提交历史
来自：Sandesh Kumar Kafle [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 10:46:27 UTC（818 KB）
来源：arXiv cs.CL · arxiv.org