arXiv cs.CL· Berke Arda, Peng Cui, Qiaoyuan Zheng, Rudolf Debelak, Mubashara Akhtar, Mrinmaya Sachan·· 12 小时前AI 评分38
SkillEval：用认知诊断模型学习 LLM 的可解释能力画像
SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models
AI 导读
SkillEval 是一个跨模型、技能粒度的 LLM 评测框架，借助 LLM 的元认知能力从题目中自动发现可解释技能，再用心理测量学的认知诊断模型（CDM）估计各技能能力值。
正文 · AI 翻译
摘要：目前对 LLM 在基准上的评估通常将各个示例上的表现汇总为一个单一的标量分数。这种方法过于粗糙，并且忽略了基准数据集所涵盖的技能范围的多样性。为解决这一局限并更好地利用基准数据，我们提出了 SkillEval，这是一个新的评估框架，可进行跨模型、技能级别的分析。该框架融合了两个领域的进展：（1）利用 LLM 的元认知能力，从问题中自动发现可解释的技能；（2）应用心理测量学中的认知诊断模型（CDM）来估计 LLM 的每项技能能力。我们在 3,811 个 LLM 上进行了实验，这些模型在五个涵盖不同领域的基准（MATH、BBH、GPQA、MuSR、IFEval）的 9,523 个题目上接受了评估。与传统的基于平均值的评估范式相比，SkillEval 能生成可靠、校准更佳、信息更丰富且简洁的模型画像，从而更准确地预测模型在未见题目上的行为。我们还展示了 SkillEval 在两个下游任务中的实用性：（1）LLM 路由，即将每个查询动态分配给一个有能力且高效的模型，在提升性能的同时将推理成本降低 60% 以上；（2）计算机自适应测试（CAT），即利用训练好的 CDM 高效评估未见过的模型。此外，我们还表明这些技能画像提供了有用的洞见，例如基准之间如何共享技能，以及指令微调模型与其基础模型有何不同。
| 评论： | 24 页，9 幅图，11 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28767 [cs.CL] |
| （或 arXiv:2610.28767v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28767 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Berke Arda [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 18:06:47 UTC（409 KB）
来源：arXiv cs.CL · arxiv.org