arXiv cs.AI· Kit Tempest-Walters·· 4 小时前AI 评分26
迈向 AI 流行病学:面向前瞻性风险检测的测量标准化框架
Toward AI epidemiology: a measurement standardization framework for prospective risk detection
AI 导读
一篇发表于 AI & Society 的概念论文提出测量标准化框架,将专家与 AI 的交互压缩为结构化、可比较的字段,无需访问模型内部即可做前瞻性风险检测。框架定义了 8 个交互字段的语法,并给出基于配对 bootstrap 推断、DeLong 检验、0.05 单侧非劣效边界和 Holm-Bonferroni 校正的统计协议。
正文 · AI 翻译
摘要:本文提出一个测量标准化框架,将专家与 AI 的交互压缩为结构化、可比较的字段,用于在已部署的 AI 系统中进行前瞻性风险检测,且无需访问模型内部。本概念论文从语义和统计两个层面界定了该框架的范围,并规定了其实证测试方案。因此,该框架旨在支持的人群层面论断属于分阶段研究计划的一部分,而非本文所声称的结果。测量标准化支撑三项主张。第一项是可靠性主张:在有界条件下,大语言模型能够对专家与 AI 交互的证据对齐和政策对齐做出可靠、标准化的评估。第二项是治理主张:对齐分数在部署期间为专家提供即时信号,并为机构提供跨任务类型、模型和领域监测对齐模式的基础。第三项是结果验证主张:一旦测量标准化得以确立,聚合对齐分数可用于研究其与受监管专业环境中下游结果的关联。这引入了“AI 流行病学”的可能性,即一种受流行病学推理启发、基于相关变量而非机制分析的风险检测形式。将该方案最小化地应用于一个已发表的专家-AI 语料库表明,在指定条件下,评判器在两次运行中复现了其政策对齐和证据对齐分数。评判器的大规模可靠性仍有待未来工作验证。本文提出了一套由八个交互字段组成的既定语法,以及一套统计方案,该方案基于配对自助法推断、以 DeLong 配对 AUC 检验作为敏感性检查、预设的单侧非劣效界值 0.05,以及 Holm-Bonferroni 校正。
| 评论: | 29 页,3 幅图,4 张表。发表于 AI & Society (2026) |
| 主题: | 人工智能 (cs.AI);机器学习 (cs.LG) |
| 引用为: | arXiv:2512.15783 [cs.AI] |
| (或 arXiv:2512.15783v5 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2512.15783 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考: | AI & Society (2026) |
| 相关 DOI: | https://doi.org/10.1007/s00146-026-03276-3
链接到相关资源的 DOI |
提交历史
来自:Kit Tempest-Walters 博士 [查看邮箱]
[v1]
2025 年 12 月 15 日星期一 11:29:05 UTC(487 KB)
[v2]
2026 年 2 月 19 日星期四 20:27:24 UTC(455 KB)
[v3]
2026 年 6 月 4 日星期四 11:29:58 UTC(435 KB)
[v4]
2026 年 7 月 20 日星期一 11:40:43 UTC(508 KB)
[v5]
2026 年 11 月 17 日星期二 18:30:20 UTC(301 KB)
来源:arXiv cs.AI · arxiv.org