arXiv cs.CL· Jinwen Luo, Han Jiang, Ziang Xiao, Susu Zhang·· 10 小时前AI 评分31
用 LSIRM 诊断语言模型基准测试中的模型—题目交互
Diagnosing Model--Item Interactions in Language Model Benchmarks with LSIRM
AI 导读
研究者用潜在空间题目反应模型（LSIRM）分析 1,348 个语言模型在 5,761 个 BBH 题目上的表现，并对比 BBH、GPQA、MMLU-Pro、MuSR 四个基准的答案呈现与评分方式。
正文 · AI 翻译
摘要：基准准确率相近的语言模型可能在不同题目上取得成功。总体分数无法显示它们的表现差异所在，也无法说明哪些题目属性可能解释这些差异。我们演示了潜在空间项目反应模型（LSIRM）如何帮助评估者研究这些模式及其对模型比较的影响。我们分析了 1,348 个语言模型在 5,761 个 BBH 题目上的表现，并比较了在 BBH、GPQA、MMLU-Pro 和 MuSR 上呈现和评分答案的不同方式。我们考察了 LSIRM 图谱，该图谱概括了模型和题目之间的表现差异，并结合题目属性以及正确和错误回答的记录。在 BBH 中，这些图谱上相邻的题目往往共享相同的正确答案，例如“是”或“否”。在这四个基准中，当使用选项标签（如 A、B、C 和 D）对答案评分时，这种模式比使用选项文本时更强。随后，我们估计了每个模型在具有特定正确答案的题目上表现更好或更差的倾向，并量化了这种倾向对其分数的贡献。这将与正确答案相关的估计贡献与题目表现中的其余差异区分开来。两个模型的正确答案总数在 5,761 个题目中仅相差 14 个。从它们的分数中排除估计的答案类别贡献后，在保持所有其他估计不变的情况下，它们的排名向相反方向移动了数百位。该方法帮助评估者识别被总体准确率掩盖的差异，并理解选择将哪些内容纳入分数会影响模型排名。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG）；方法论（stat.ME） |
| 引用为： | arXiv:2611.02432 [cs.CL] |
| （或 arXiv:2611.02432v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.02432 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jinwen Luo [查看电子邮件]
[v1]
2026年11月2日星期一 02:54:28 UTC（5,837 KB）
来源：arXiv cs.CL · arxiv.org