arXiv cs.AI· Siyu Zhou, Jialin Ouyang, Fan Xia, Adarsh Subbaswamy, Drew Prinster, Suchi Saria, Augusto Garcia-Agundez, Sarah Pollet, Jinoos Yazdany, Patrick Vossler, Jean Feng·· 3 天前AI 评分31
通过 Monitoring-by-Betting 检测非结构化数据流中的分布偏移
Learning to Detect Shifts in Unstructured Data Streams via Monitoring-by-Betting
AI 导读
研究提出 asymptotic e-detectors，将序列变点检测重构为投注博弈，允许检测器随新观测持续更新假设的偏移方向，并在校准集规模 m 增大时渐近控制平均误报运行长度，m=30 即可有效控制。
正文 · AI 翻译
作者：Siyu Zhou、Jialin Ouyang、Fan Xia、Adarsh Subbaswamy、Drew Prinster、Suchi Saria、Augusto Garcia-Agundez、Sarah Pollet、Jinoos Yazdany、Patrick Vossler、Jean Feng
摘要：对生成式 AI 系统的持续监控需要检测其接收和生成的非结构化数据中的分布偏移。现有的监控方法通常通过要求用于检测偏移的差异度量必须*预先指定*来控制误报。然而，对于非结构化数据，预先指定会造成灵敏度与广度之间的权衡：定义狭窄的度量对预期偏移敏感，但可能遗漏意外变化；而定义宽泛的度量可以检测更广泛的偏移，但灵敏度降低。尽管自适应地假设偏移方向可以克服这一局限，但这种依赖数据的自适应通常会破坏传统的误报保证。我们通过测试即下注（testing-by-betting）调和了自适应性与统计有效性，将序贯变点检测重新表述为一场下注博弈，其中下注者随着新观测的到来不断更新其假设的偏移方向，即见证函数。我们引入了*渐近 e-检测器*，它使用大小为 $m$ 的校准集来近似变化前分布，并证明随着 $m$ 增大，它们渐近地控制误报的平均运行长度。经验上，小至 $m=30$ 的校准集即可提供有效控制。随后，我们开发了自适应监控策略，从基于嵌入学习的黑盒下注者到基于 LLM 提出概念的可解释下注者。在三个真实世界数据集（包括来自临床 AI 记录员部署的数据）上，自适应监控器在相同误报水平下比固定监控器更快地检测到偏移。此外，当真实偏移稀疏且可解释时，LLM 概念监控器提供最快且最可解释的检测，同时还能为复杂偏移指导根因诊断。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.17399 [cs.LG] |
| （或使用 arXiv:2610.17399v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.17399 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jean Feng [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 21:05:26 UTC（1,241 KB）
来源：arXiv cs.AI · arxiv.org