arXiv cs.AI· Siyu Zhou, Patrick Vossler, Venkatesh Sivaraman, Yifan Mai, Jean Feng·· 12 小时前AI 评分31
面向 AI 系统的自适应审计：SAVI 框架提供随时有效保证
Adaptive auditing of AI systems with anytime-valid guarantees
AI 导读
研究者提出基于 Safe Anytime-Valid Inference（SAVI）的假设检验框架，将自适应审计形式化为"以赌代测"，同时检验模型无失败模式的零假设与审计者采样策略的零假设。
正文 · AI 翻译
摘要：表征生成式 AI 系统失效模式的一个主要瓶颈是标注与评估的成本和时间。因此，自适应测试范式日益流行，即根据以往结果机会性地决定标注哪些案例以及标注多少。虽然这一框架非常实用，但其极端的灵活性使得难以得出统计上严谨的结论，因为它违背了经典假设：观测数量通常有限（往往为 10 到 50 个案例），且关于采样和停止的决策是在数据收集过程中做出的，而非基于预先指定的规则。为了刻画从高度自适应审计中能够得出何种统计推断，我们从两个“对垒”视角引入一个假设检验框架：(i) 模型的原假设，断言不存在性能低于目标阈值的失效模式；(ii) 审计者的原假设，断言其拥有一种能够揭示失效模式的采样策略。借助安全任意时刻有效推断（SAVI），我们将审计者形式化为在进行“以赌注检验”，这转化为同时检验对垒原假设的 e-过程。此外，我们证明，如果审计者足够强大，这两个假设渐近互为逆命题，即通过此类审计即可证明该 AI 系统具有全局鲁棒性。在实证上，我们证明所提出的检验程序保持任意时刻有效的第一类错误控制，优于预先指定的检验方法，并且有时仅需 20 个观测即可得出统计上严谨的结论。
| 评论： | 2026 年神经信息处理系统大会 |
| 主题： | 人工智能（cs.AI）；统计理论（math.ST）；机器学习（stat.ML） |
| 引用为： | arXiv:2605.07002 [cs.AI] |
| （或 arXiv:2605.07002v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.07002 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jean Feng [查看邮箱]
[v1]
2026 年 5 月 7 日星期四 22:33:48 UTC（1,044 KB）
[v2]
2026 年 10 月 21 日星期三 02:55:26 UTC（1,112 KB）
来源：arXiv cs.AI · arxiv.org