法律多选题基准的“仅选项可解性”：模型不看题干也能答对多少

查看 PDF HTML（实验性）

摘要：多项选择基准的评分依据是模型是否选对了选项，而不是它是否需要这道题。衡量这一差距需要谨慎：一个对大多数题目都回答 A 的模型，只要正确答案位于 A，其得分就会高于随机水平，而在并非如此时，却会被读作识别能力。我们在 UA-JudgeExam 上对此进行了测量：该数据集包含 11,990 道四选项题目，附有官方答案，由乌克兰法官高等资格委员会发布。
在只给出选项、不给出题目的情况下，Claude Haiku 4.5 的得分为 0.383，高于随机水平，且这种泄漏是集中的：11.8% 的题目在全部八种选项顺序下都被盲答，而随机情况下预期仅为 0.2 道。这并非引用：在 280,059 个乌克兰立法版本中检索，仅能恢复 0.128。将这些题目过滤掉后保留 8,128 道题，此时过滤模型本身的得分变为 0.204，而未参与筛选的 GPT-5.6 在隐藏题目的情况下仍能答对其中的 0.515。在完整集合上对来自八家供应商的十八个留出模型评分，并减去每个模型自身的位置习惯后，有四个模型仍保持可观的超额：GPT-5.6（+0.265）、Gemini 3.1 Pro（+0.240）、GPT-5.4（+0.105）、Sonnet 4.6（+0.081）；其余模型的超额均在 0.031 以内，且探测未发现其背后存在对公开题库的回忆。若不进行校正，Llama 3.1 8B（盲答 0.292，92% 的题目选 A）会被读作泄漏者。
该过滤确实筛选出了某些真实的东西：在其拒绝的题目上，十二个模型中有十一个得分在 0.518–0.789 之间，每个区间都明显高于同一模型在其保留题目上的得分。但该信号仅来自一个模型，基于它进行过滤并不能向上迁移。改为重写干扰项则会过冲到 0.168，低于随机水平且同样可被利用。在 LEXam 上进行同样的探测则返回随机水平：那里的每个选项都指向题干，且没有一个长度超过 33 个字符。题目格式决定了该问题是否可能出现；能力决定了能提取出多少。我们发布了语料库、预测结果和测试框架。

评论：	23 页，4 幅图，12 张表。v2：新增五个模型和一项发布前的 GPT-4o 对照、回忆探测、修正后的答案解析器、重新提取的文本。数据与代码：此 https URL
主题：	计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY）
引用为：	arXiv:2608.15428 [cs.CL]
	（或 arXiv:2608.15428v2 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2608.15428 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Volodymyr Ovcharov [查看电子邮件]
[v1] 2026 年 8 月 15 日星期六 22:11:00 UTC（32 KB）
[v2] 2026 年 11 月 1 日星期日 22:43:39 UTC（37 KB）