arXiv cs.CL· Hao Lu, Weixing Zhu, Ruiyang Li·· 23 小时前AI 评分29
契约显式评估:从审计学习型阅读器到范围化证书
Contract-Explicit Evaluation: From Auditing Learned Readers to Scoped Certificates
AI 导读
研究提出契约显式评估协议,通过 Declare、Measure、Scope、Certify、Hedge 五步操作化 Kendall 秩相关的经典一致性分解,为模型比较划定可认证区域并给出无分布假设的普查证书。
正文 · AI 翻译
摘要:文档级关系抽取(DocRE)系统的评估读数同时取决于模型和评估契约:金标准版本、评分函数、阈值。排名在不同契约之间会发生反转,然而现有方法都无法确定哪些比较能在反转后依然成立。我们通过契约显式评估来填补这一空白:一套预注册的五步协议(声明、测量、界定、认证、对冲),将 Kendall 秩相关的经典一致性分解付诸实施,界定可认证区域,并在两个生态系统中提供无分布假设的普查证书。在 DocRE 审计中(同一内部架构系列的 44 次训练运行),评分维度界定至一份普查证书(三个被标记实例,Clopper–Pearson 上界 0.146);确证记录包含已注册的阴性结果,且审计为其自身的简化发现定价——校准旋钮的全部余量仅来自一次被撤回的提交。在一项 LLM 评审普查中(17 位评审、49,938 场对战),12.25% 的排行榜比较需要在预先声明的分割标准下进行对冲(上界 0.124;面板稳健值 0.143),一项探索性双层读数以 \le 0.072 的上界认证了 69%,并针对已发布的人工标签进行了有效性分解(65% 的争议对战是评审错误,而非歧义)。跨模型证书在真实置信度分数上被撤回;失败谱系描绘了边界。协议、图谱、账本及逐实例工件均已发布。
| 评论: | 50 页,4 幅图。补充材料(在线资源 1,14 页)作为附件文件包含在内。工件仓库:此 https URL。已投稿至 Applied Intelligence |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.22665 [cs.CL] |
| (或 arXiv:2611.22665v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22665 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Hao Lu [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 12:22:27 UTC(225 KB)
来源:arXiv cs.CL · arxiv.org