arXiv cs.AI· Ons Zammel, Carlos Soares, Fl\'avia Carvalhido, Gerd Kortemeyer·· 23 小时前AI 评分26
多模态大语言模型评分助手在运动学图表阅读上的压力测试
Stress Testing a Multimodal Large Language Model Grading Assistant on Kinematics Graph Reading
AI 导读
一项探索性研究用合成运动学图表响应压力测试多模态大语言模型评分助手,发现部分判断能正确区分瞬时零速度与有限区间静止并识别正曲率,但一张严重失真的速度—时间图在轨迹断裂分叉、零速度参考不清的情况下仍获满分,而同一配置下其他提交却大幅失分。
正文 · AI 翻译
摘要:多模态大语言模型(MLLMs)能够识别图形特征,却在缺乏充分图形依据的情况下给出评分。本探索性研究考察了针对四道运动学练习的合成回答所选取的评分输出,这些回答通过视觉失真以及向参考图形逐步变换而生成。研究使用了不同的模型与提示配置。部分判断正确区分了瞬时零速度与有限区间内的静止状态,并识别出正曲率。然而,一个严重失真的速度—时间图尽管轨迹不连续且出现分支、零速度参考不明确,却获得了满分。在相同配置下评分的其他提交则被扣除了大量分数。用于区分有意义特征与绘图不规则性的数值阈值是在未提供无编号图形坐标约定情况下给出的,这使得精确部分给分的依据无法确定。压力测试可以在课堂使用前暴露缺乏依据的给分。就所考察的配置而言,我们不建议在未经教师复核(包括对满分回答的复核)的情况下将分数作为最终成绩接受。
| 学科: | 物理教育(physics.ed-ph);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22726 [physics.ed-ph] |
| (或本版本的 arXiv:2611.22726v1 [physics.ed-ph]) | |
| https://doi.org/10.48550/arXiv.2611.22726 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Gerd Kortemeyer [查看邮箱]
[v1]
2026年11月17日星期二 13:00:23 UTC(2,329 KB)
来源:arXiv cs.AI · arxiv.org