arXiv cs.AI· Rachel Li, Chris Hays, Aaditya Ramdas, Manish Raghavan·· 1 天前AI 评分34
如何在 AI 系统部署前测试中控制未知未知故障的概率
Controlling the Probability of Unknown Unknowns in Pre-Deployment Testing of AI Systems
AI 导读
研究者提出一种算法，用于在 AI 系统（如 AI 智能体）部署前测试中认证"观察到未见故障模式的概率足够小"，通过构建 anytime-valid 上置信序列，让开发者可反复测试并查看边界，低于阈值时停止而不破坏统计保证。
正文 · AI 翻译
摘要：在 AI 智能体等 AI 系统的部署前测试中，开发者通常可以通过实施修复或为同一问题可能再次发生制定应急计划，来应对已知的失效模式（例如泄露 API 密钥、删除重要数据库或安装恶意软件包）。更具挑战性的是未知的未知：测试期间尚未显现的未见失效模式。因此，停止测试并部署的决定面临一个固有的权衡：继续测试以观察更多行为，代价是时间和资源；或者停止测试并部署，风险是失效模式仍未被发现。那么，开发者如何判断自己已经测试得足够充分？为了回答这个问题，我们开发了一种算法，用于证明观察到未见失效模式的概率足够小。该算法对此量构造了一个随时有效的置信上界序列，因此开发者可以反复测试系统、检查该上界，并在其低于选定阈值时决定停止，而不会使统计保证失效。我们的问题可以解释为缺失质量估计问题的序贯变体，该问题催生了经典的 Good-Turing 估计器（Good, 1953）。在 SWE-Chat——一个真实世界编码智能体轨迹数据集（Baumann et al., 2026）——上，我们实现了我们的流程，并表明它比经过简单多重检验校正的 Good-Turing 基线获得更紧的上界，甚至优于固定时域（未经多重检验校正）的 Good-Turing 置信上界，而后者并非随时有效。此外，为了更好地匹配现实评估流程，我们扩展了方法，以处理从不同任务分布中采样以及不完美的自动化失效标注。
| 评论： | 62 页，10 张图 |
| 主题： | 人工智能（cs.AI）；计算机与社会（cs.CY）；统计理论（math.ST） |
| 引用为： | arXiv:2611.15835 [cs.AI] |
| （或 arXiv:2611.15835v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15835 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chris Hays [查看电子邮件]
[v1]
2026 年 11 月 11 日星期三 18:46:36 UTC（2,221 KB）
来源：arXiv cs.AI · arxiv.org