研究测量法律多选题仅凭选项可盲答比例

Volodymyr Ovcharov 发布一项研究，在乌克兰法官高等资格委员会发布的 UA-JudgeExam（11,990 道四选项题）上测量“仅给选项、不给题干”的可解性，并公开语料、预测与测试框架。 结果显示，Claude Haiku 4.5 在该设置下得分 0.383；11.8% 的题目在全部八种选项顺序下都能被盲答，而随机预期仅 0.2 题。研究据此指出该基准存在选项泄漏问题。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。