跳到正文
arXiv cs.AI· Florian Gunsilius, David Van Dijcke, Kaspar W\"uthrich·· 23 小时前AI 评分58

研究:编码智能体在零效应数据上频繁报告显著 p 值,并提出回放校正方法

Inference after coding agents

AI 导读

arXiv 论文《Inference after coding agents》指出,编码智能体让实证研究出现一种新的选择性推断问题:在零效应的模拟数据上,四个前沿智能体被要求给出有说服力的发现时,有 54% 到 98% 的情况下报告了显著 p 值。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:随着 AI 编码代理在实证研究的每一步(从编写代码到操作数据)都日益熟练,实证研究正在迅速变化。我们认为,尽管编码代理在科学领域的潜力巨大,但它们在假设检验中的应用对经典推断构成了重大威胁,因为这些代理催生了一种强化版的选择性推断。具体而言,我们认为,执行实证研究的编码代理引入了一种新型的事后选择推断,它将对估计量隐式空间进行类人的开放式搜索,与选择过程和估计过程的程序化可复现性结合起来。事实上,我们发现,在零效应的模拟数据上,当要求四个前沿代理给出令人信服的发现时,它们有 54% 到 98% 的时间报告了显著的 p 值。我们提出了一种检测和纠正这些偏差的简单程序。在代理完成分析后,我们在数据的子样本上重置并重放该分析,以估计代理在该分析看起来具有统计优势时选择该分析的相对概率。对于选择行为稳定的代理,所得的校正检验在渐近意义上是有效的,并且在给定选择条件下是一致的。重要的是,该校正是从黑盒代理的实际选择中学习得到的,而不是基于其搜索方式的模型,因此即使 AI 技术持续快速演进,它仍然有效。在模拟中,该校正稳健地将高误拒绝率降低至接近名义的 5%。我们用两篇已发表论文中的应用来说明该方法。
评论: 35 页,7 幅图,1 张表
主题: 方法论(stat.ME);人工智能(cs.AI);计量经济学(econ.EM)
引用为: arXiv:2611.23174 [stat.ME]
  (或 arXiv:2611.23174v1 [stat.ME] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23174

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:David Van Dijcke [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 18:22:01 UTC(3,472 KB)

来源:arXiv cs.AI · arxiv.org