跳到正文
arXiv cs.AI· Zhaohe Dong·· 10 小时前AI 评分38

跨厂商模型审计能走多远:从通用代码到科学代码、结果与数据的实测边界

What Moves the Ceiling on Automated Audit: from General Code to Scientific Code, Results and Data

AI 导读

一项研究实测跨厂商模型审计加确定性检查的组合:在带隐藏测试的通用代码上,审计模型八次读取在正确代码 16.0% 误报率下达到 30.0% 召回,且收益递减无明显平台期。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:模型越来越多地检查其他模型写出的内容。我们研究一种已部署的安排:由来自不同供应商的审计者阅读工作成果,确定性检查验证代码所能验证的部分,并以没有任何模型提供的真实基准来衡量其局限。在带有隐藏测试的通用代码上,审计者的八次读取在正确代码上以 16.0% [10.1, 22.3] 的标记率实现 30.0% 的召回率 [20.0, 40.7],且收益递减、没有平台期。读取模型(与其采样相混淆)、一条规则手册句子和决策规则各自都会改变这一数字,而许多被漏掉的内容,按事后评级来看,是规范从未确定的行为。在三项预注册的科学研究中,检查所报告数字能否追溯到其来源,标记出了全部 49 份不一致报告,且未标记 25 份一致的伪造报告中的任何一份,其中模型审计者标记了 23 份(21 份有可靠发现,事后评定);在数据方面,一个源自文档的验证器和审计者标记了重叠但不同的缺陷项,合计在 140 项中标记出 112 项,在干净数据上的标记率为 2.9% [0.7, 5.7];在科学代码方面,围绕一个步骤重新构建任务,使正确代码上的标记率从 68.7% 降至 36.0%。在两层都运行的情况下,确定性层未标记任何干净项,也无法看到一致的错误;模型层看到了一些,但自身也出错。进行模型调用的研究均已预注册,两项未注册的分析已点名,所有引用的报告都通过了独立的跨供应商审查。
评论: 27 页,4 幅图,1 张表
主题: 软件工程(cs.SE);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.23250 [cs.SE]
  (或 arXiv:2611.23250v1 [cs.SE] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23250

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Zhaohe Dong [查看电子邮件]
[v1] 2026 年 9 月 24 日星期四 07:43:25 UTC(128 KB)

来源:arXiv cs.AI · arxiv.org