arXiv cs.CY· Brett Puppart, Kristjan-Julius Laak, Jaan Aru·· 11 小时前AI 评分26
GenAIT：面向高中生的生成式 AI 素养客观测试开发与验证
GenAIT: Development and Validation of an Objective Generative AI Literacy Test for High School Students
AI 导读
研究者开发并验证了 GenAIT——一套 18 道选择题的生成式 AI 素养测试，覆盖技术、实践与人类影响三个领域，用于测量高中生的 GenAI 概念知识。基于 7432 名爱沙尼亚高中生的调查，验证性因子分析、经典测量理论与项目反应理论支持其近似单维性，边际信度 .72、KR-20 = .69，3PL 模型拟合良好（RMSEA = .013、CFI = .990）。
正文 · AI 翻译
摘要：国际上对高中生生成式 AI（GenAI）素养及其评估的兴趣日益增长，但针对该人群的客观评估仍不完善。本文报告了 GenAI 素养测试（GenAIT）的迭代开发与验证，该测试包含 18 道多项选择题，用于测量高中生对 GenAI 的概念性知识，内容涵盖技术、实践和人类影响领域。专家对相关性、清晰度和全面性的审查提供了内容效度的证据。在一项针对 7432 名爱沙尼亚高中生的大规模调查中，我们使用验证性因子分析、经典测验理论和项目反应理论评估了爱沙尼亚语版 GenAIT 的心理测量学表现。结果支持近似单维性、对群体层面研究而言基本足够的信度（边际信度 = .72，KR-20 = .69），以及三参数逻辑斯蒂模型的良好拟合（RMSEA = .013，TLI = .987，CFI = .990，SRMSR = .021）。测量精度对大多数学生而言足够，但在潜在特质上差异显著，得分较低的学生精度较低。因此，GenAIT 更适合群体层面研究，而非高利害的个体分类。GenAIT 得分与感知有用性和感知易用性无关，与 LLM 使用频率呈负相关，这表明频繁使用和对 AI 的良好感知不应被视为概念理解的替代指标。
| 学科： | 计算机与社会（cs.CY）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2608.25815 [cs.CY] |
| （或 arXiv:2608.25815v2 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.25815 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jaan Aru [查看电子邮件]
[v1]
2026年8月26日星期三 13:58:56 UTC（756 KB）
[v2]
2026年10月23日星期五 06:31:48 UTC（670 KB）
来源：arXiv cs.CY · arxiv.org