arXiv cs.AI· Jiawei Xiong, Cheng Tang, Hong Jiao, Hanna Choi·· 3 天前AI 评分22
用证据中心设计指导测量中的提示词工程：以自动作文评分为例
Using Evidence-Centered Design to Guide Prompt Engineering in Measurement: An Illustration with Automated Essay Scoring
AI 导读
研究提出用教育测量中的证据中心设计（ECD）框架来规范 LLM 教育应用的提示词工程，将学生模型、证据模型和任务模型映射到提示词设计组件，并据此推导出五条设计原则。在自动评分任务上，ECD 设计的提示词与 SOTA 提示词基线进行了实证对比，结果显示将提示词视为测评设计而非非正式指令，可提升 AI 生成教育输出的效度、信度与公平性。
正文 · AI 翻译
摘要：生成式人工智能（GenAI）模型，尤其是大语言模型（LLM），正越来越多地用于教育场景中的题目生成、自动评分和反馈提供等任务。这些输出的质量不仅取决于 AI 模型，还取决于用户如何构建引导模型行为的提示词。当前的提示词工程实践在很大程度上是临时性的，依赖试错而非有原则的设计。这种结构性的缺失带来了效度威胁，包括构念误表征、构念无关变异以及可复现性有限。我们提出，证据中心设计（ECD）——教育测量中用于从观察到的表现构建有效推断的框架——可以作为教育应用中提示词工程的原则性基础。我们将 ECD 的三个核心模型，即学生模型、证据模型和任务模型，映射到教育提示词设计的组成部分，并描述了基于 ECD 的提示词工程工作流程。我们由此映射推导出五项设计原则，并呈现了一项实证研究，在自动评分任务上将 ECD 设计的提示词与最先进（SOTA）的提示词基线进行对比。我们的实证研究证明了该框架在自动评分中的实用性。结果表明，将提示词视为评估设计而非非正式指令，能够增强 AI 生成教育输出的效度、信度和公平性。
| Subjects: | 人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.15231 [cs.AI] |
| （或 arXiv:2610.15231v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15231 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hong Jiao [查看邮箱]
[v1]
2026年10月10日 星期六 23:51:48 UTC（1,669 KB）
来源：arXiv cs.AI · arxiv.org