arXiv cs.AI· Xiaomeng Xiong, Marcus Walker, Yanlin Jiang·· 13 小时前AI 评分24
用开源 LLM 充当评委与考生预测医学试题难度
LLMs as Judges and Examinees for Medical Item Difficulty Prediction
AI 导读
研究让开源权重 LLM 以评委和模拟考生两种角色参与 USMLE 与 PANCE 医学试题难度预测，最佳配置在 USMLE 上达到 Spearman 相关系数 ρ = .447，超过 2024 BEA 共享任务最佳系统（ρ = .25），在 PANCE 上为 ρ = .494，与 Claude Opus 5 的直接绝对判断（分别为 .443 和 .488）相当。
正文 · AI 翻译
摘要：仅凭题目文本预测医学题目的难度仍然具有挑战性。此前的工作主要依赖语言特征或由通用及领域专用语言模型得到的文本表示，但预测性能一直较为有限。本研究采用了一种不同的方法，利用开放权重大语言模型（LLM）与测试题目交互时出现的难度相关信号。我们使用 USMLE 和 PANCE 医学执照考试题目，考察了 LLM 在两种角色下的表现。作为评判者，模型给出绝对难度评分和成对难度比较。作为模拟考生，模型生成基于作答的信号，包括正确性、正确选项概率、作答熵以及前两个选项之间的概率差。随后，我们将最强的评判信号和作答信号与基线题目特征结合，用于下游预测模型。成对难度判断在两个数据集上都是最一致的单个 LLM 信号，而模拟考生信号和绝对判断在某些特征组合中提供了互补信息。最佳配置在 USMLE 上达到 Spearman 相关系数 $\rho$ = .447，超过 2024 BEA 共享任务中的最佳系统（$\rho$ = .25），在 PANCE 上达到 $\rho$ = .494。这些结果与专有前沿模型 Claude Opus 5 的直接绝对判断相当（分别为 $\rho$ = .443 和 .488）。总体而言，开放权重 LLM 的评判信号和作答信号捕捉到了文本表示之外的难度相关信息。由于这些模型可以本地部署，该方法为预测未发布或高安全性测试题目的难度提供了一种实用选择。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38402 [cs.CL] |
| （或 arXiv:2610.38402v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38402 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaomeng Xiong [查看邮箱]
[v1]
2026年10月28日星期三 07:46:54 UTC（281 KB）
来源：arXiv cs.AI · arxiv.org