arXiv cs.AI· Xiaomeng Xiong, Marcus Walker, Yanlin Jiang·· 13 小时前AI 评分23
医学考试题目为何难？用 LLM 探索与实证题目难度相关的模式
What Makes Medical Examination Items Difficult? Using Large Language Models to Explore Patterns Associated With Empirical Item Difficulty
AI 导读
研究利用 USMLE 和 PANCE 的实证难度标签，让 Claude Opus 5 归纳出绝对难度与成对难度判断的评分规则，发现题目表面特征（题干长度、选项数量、图片）均未被视作主要难度来源。
正文 · AI 翻译
摘要：关于医学题目难度的研究大多聚焦于预测，而非识别与实证难度相关的可解释模式。本研究使用实证难度标签来引导大语言模型（LLM）归纳难度评分标准，并考察评分标准引导如何影响 LLM 的难度判断。利用来自美国医师执照考试（USMLE）和医师助理全国认证考试（PANCE）的训练题目及其实证难度估计值，Claude Opus 5 分别归纳出用于绝对难度判断和成对难度判断的评分标准。所归纳出的评分标准均未将表面特征（如题干长度、选项数量或图片）视为难度的主要来源。两项考试中均出现了若干模式，包括线索汇聚、误导性线索和选项竞争，尽管其具体形式有所不同。在 PANCE 的评分标准中，检索无法从题干中推导出的知识尤为突出，而 USMLE 的评分标准则更强调整合多个临床线索。我们在未引导和评分标准引导两种条件下，对留出题目上的商用和开放权重 LLM 进行了比较。评分标准引导改变了模型使用难度量表的方式，但并未持续提升表现。在绝对判断中，引导促使模型更广泛地使用量表，并总体上改善了粗粒度一致性，但未持续改善排序。在成对比较中，其效果因模型和考试而异，且判断对呈现顺序变得更加敏感。这些发现表明，标签引导的评分标准归纳的价值可能更多在于从实证难度数据中生成可解释、可检验的假设，而非可靠地改善难度判断。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39373 [cs.CL] |
| （或 arXiv:2610.39373v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39373 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaomeng Xiong [查看邮箱]
[v1]
2026年10月29日 星期四 05:04:10 UTC（77 KB）
来源：arXiv cs.AI · arxiv.org