arXiv cs.CL· Guofang Tang·· 10 小时前AI 评分38
研究：LLM 验证会让最小对基准对语言模型更简单
LLM Validation Makes Minimal-Pair Benchmarks Easier for Language Models
AI 导读
在 BLiMP 和 QFrBLiMP 上测试三种 LLM 验证方式后发现，强制选择验证器与留出人类多数意见的一致率高于五人评审团，但漏检人类拒绝标签的比例远高于单个评审。
正文 · AI 翻译
摘要：最小对基准的质量取决于其标签，而 LLM 是昂贵人工验证的明显替代品。我们在 BLiMP（英语）和 QFrBLiMP（魁北克法语）上测试了这一点，这两个公开的最小对数据集发布了每一次强制选择的人类判断。三个 LLM 通过强制选择、评分和作为评审团进行验证，在两个预注册阶段中与由一名、三名和五名评审员组成的人类评审团进行评分对比。在 BLiMP 上，强制选择验证器与留出的人类多数意见的一致率高于五名评审员组成的评审团，但其捕获的人类拒绝标签的对数远少于一名评审员。按点估计，没有任何验证器的价值超过一名评审员。这些错误并非随机。在两个数据集上，跨 10 个开源 LM，预注册 LLM 过滤器标记的受人类支持的对，比其接受的对难 18.9 个百分点，在所有 70 个 LM-验证器组合中均如此，并且比单个人类评审员标记的对更难。因此，过滤移除了 LM 失败但人类不失败的条目，其准确率提升超过随机移除。在任何输出之前冻结的协议在荷兰语 BLiMP-NL 上复现了这一差距和提升。LLM 验证使最小对基准对其本应测试的模型来说更容易；我们发布了代码、验证器输出和条目级分数。
| 评论： | 11 页，1 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13788 [cs.CL] |
| （或 arXiv:2611.13788v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.13788 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tang Guofang [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 09:22:38 UTC（110 KB）
来源：arXiv cs.CL · arxiv.org