arXiv cs.AI· Eitan Waks, Ben Glocker·· 9 天前AI 评分24
仅凭输出审查无法验证什么：面向研究智能体的研究契约
What Output-Only Review Cannot Verify: Study Contracts for Research Agents
AI 导读
论文提出"研究契约"，将声明的实验选择、运行义务与结论范围绑定到已记录的执行证据，以区分契约层面的验证与科学真伪。在八个自撰的干净/变异配对诊断中，确定性检查器对已批准与已执行对象应用注册的特定故障规则，检出全部八个注册变异；十八个评审别名在无配对上下文与故障标签下，144 个变异评测案例中 104 个被标记缺陷，其余为 32 次弃权和 8 次终止失败。
正文 · AI 翻译
摘要：AI 生成研究中的某些缺陷可以从其产物中识别出来；另一些则需要了解在执行之前批准了什么。我们提出研究契约，将声明的实验选择、运行义务和主张范围与记录的执行证据绑定，并将这种相对于契约的验证与科学真理区分开来。一项使用八个自行编写的干净/变异对的诊断说明了这一信息边界。一个确定性检查器将注册的、针对特定故障的规则应用于已批准和已执行的对象，检测出了全部八个注册变异。在十八个记录的评审别名中，每个别名获得经过元数据过滤的独立包，且没有配对上下文或注册表选定的故障标签，144 个变异评估案例中有 104 个收到了缺陷标记；其余案例包括 32 个弃权和 8 个最终失败，且对变异案例没有明确的干净判定。一些包保留了批准和执行字段，包括摘要。提示词指示评审在证据不足时弃权。这些结果描述了一个刻意信息不对称的开发环境；它们并未将权威信息的影响与任务规范和规则选择的差异隔离开来，也不是比较性验证器质量或智能体奖励黑客行为。我们指出，全信息比较、合法适应对照和闭环智能体评估是必要的测试，用以检验契约检查是否能在优化下提高有用的合规完成率。
| 评论： | 15 页，4 张表。预印本。未经同行评审。配套手稿正在并行准备中 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11754 [cs.AI] |
| （或 arXiv:2610.11754v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11754 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Eitan Waks [查看电子邮件]
[v1]
2026年10月8日星期四 11:42:23 UTC（30 KB）
来源：arXiv cs.AI · arxiv.org