arXiv cs.CL· Soroush Ebadian, Parand A. Alamdari, Joe Benton, Hailey Joren·· 11 小时前AI 评分45
Tampered ML：评估 LLM 对机器学习研究的判断能力
Tampered ML: Evaluating LLM Judgment of Machine Learning Research
AI 导读
研究者推出 Tampered ML 基准，包含 1,858 组条目对，每组由一篇已发表机器学习论文重构的实验提案与引入特定方法学缺陷的最小改动反事实版本组成，要求模型在两种呈现顺序下识别方法学更严谨的提案。
正文 · AI 翻译
摘要：加速 AI 对齐进展的一种方法是自动化对齐研究本身的部分工作。要做到这一点，需要系统能够在难以监督的研究任务上可靠地执行，包括识别研究提案中的缺陷，以及评估所提出的实验是否支持其预期主张。为评估这一能力，我们推出了 Tampered ML，这是一个包含 1,858 个条目对的基准，每个条目对由一个根据已发表的机器学习论文重建的实验提案和一个经过最小编辑的反事实版本组成，后者引入了针对性的方法学缺陷。模型必须在两种呈现顺序下都识别出方法学上更合理的提案。一项针对分层样本的人工验证研究估计，86% 的条目是有效的（95% CI：81-91%）。前沿模型的表现高于随机水平，但仍远未达到可靠程度（Opus 5 的准确率为 77.9%）。它们对呈现顺序高度敏感，并且偏好那些看起来更具体、更透明或更常规的缺陷设计。
| 评论： | 28 页，10 张图。已被 EMNLP 2026（主会议）接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；数字图书馆（cs.DL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32114 [cs.CL] |
| （或 arXiv:2610.32114v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32114 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Soroush Ebadian [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 03:32:38 UTC（2,023 KB）
来源：arXiv cs.CL · arxiv.org