arXiv cs.AI· Ramnarayan Choudhary·· 11 小时前AI 评分31
自适应实验可能掩盖模型误差：检测限与证伪预算
Adaptive Experimentation Can Hide Model Error:Detection Limits and Falsification Budget
AI 导读
研究发现自适应实验设计会反复选择错误模型恰好拟合的设置，从而掩盖模型本身的错误。作者基于实验者自身的采样分布界定了任何有效性检验的效力上限，并提出一种可计算的诊断指标，用于衡量相对于工作模型声明扩展的未解决误差，进而给出一条无需训练的规则：预留部分设计预算用于证伪。
正文 · AI 翻译
摘要：一项实验可能对工作模型的参数具有信息量，却无法说明该模型是否错误。自适应设计会反复选择错误模型拟合良好的设置，从而加剧这种错配。我们以实验者自身的抽样分布为基准，界定了任何有效充分性检验的效力，随后区分了所选数据中缺失的信息与检测器丢失的信息。一种可计算的诊断方法相对于所声明的工作模型扩展来衡量未解决的误差。它促发了一条无需训练的规则，将部分设计预算保留用于证伪。实证记录好坏参半：独立设定的初步研究未通过检测资格，而后续的分子诊断未通过其改进标准。在冻结规则于新的连续零面板上失败后，一项披露的次要视界校准修订在 T = 240 时检测出 35.8% 的错误设定活动，而类别分离对照为 31.7%，但在 T = 480 时没有明确的优势。在一次校正后的 289 单元实测重放中，它优于随机设计，但落后于类别区分 EIG。一个条件性无效界解释了为何剩余时间重要，但未证明门限常数或其效力。这些结果支持将参数学习、模型检查和检测器性能分开；它们并未确立普遍更优的设计策略或前瞻性科学发现。
| 主题： | 方法论 (stat.ME)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.07529 [stat.ME] |
| （或 arXiv:2611.07529v1 [stat.ME] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07529 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ramnarayan Choudhary [查看电子邮件]
[v1]
2026年11月5日星期四 06:40:39 UTC（247 KB）
来源：arXiv cs.AI · arxiv.org