arXiv cs.AI· Bin Wang, Yan Zhong, Zhengyu Zhang, Liang Luo, Buyun Zhang, Ellie Wen·· 13 小时前AI 评分34
NxN E-valuation：用共形 CRT 零假设认证语言模型提出的假设
NxN E-valuation: Hypothesis Certification via a Conformal CRT Null
AI 导读
研究者提出 NxN e-valuation 方法，只需假设本身即可对语言模型生成的假设进行认证，满足逐假设自动化、可归因、可诊断三项要求。在 285 个语言模型撰写、人类专家标注的真实购买数据假设上，该方法 693 次决策中 692 次正确、仅 1 次错误认证，优于需逐假设重采样模型的 CRT 组合测试（659 次正确、4 次错误）和留出验证（224 次正确、468 次错误）。
正文 · AI 翻译
摘要：语言模型现在提出假设的速度比任何人检查它们的速度都快，因此验证这些假设的步骤必须除了假设本身之外不需要提出者提供任何东西。我们提出了这样一个步骤的三项要求——对每个假设可自动化、可归因和可诊断——并引入了 NxN e-valuation，它满足这些要求。一个假设指定一个范围、它所涉及的单位，并为每个单位给出一个对其结果进行评分的限制。同一范围的单位互为对方的零假设，因此无需为每个假设编写重采样模型；该算法验证一个稳定的、范围级别的关联，并报告是范围、限制，还是哪个单位接受哪个限制承载了预测。对于独立抽取的单位，在给定的零假设下，投注 e 值在有限样本中为每个假设的虚假证书概率提供了界限。对承载关联的单位比例的投注下界为每个证书设定了门槛，而一个渐近有效的等价检验只有在拒绝它们之间高于声明噪声上限的差异时，才称这些限制是共享的。我们在植入数据、随机干预数据以及真实购买数据上进行了测试，后者包含 285 个由语言模型在不知道我们的方法或类别的情况下编写的假设，并由人类专家标注。满足所有三项要求不损失准确性：NxN 在 693 个决策中做出 692 个正确决策，仅有一个虚假证书；相比之下，由 CRT 检验组合而成的方法返回我们的判定但需要为每个假设编写重采样模型，其结果为 659 个正确决策和四个虚假证书；而留出验证则为 224 个正确决策和 468 个虚假证书。移除我们的任何统计量都会将认证的判定与拒绝的判定合并。这些证书涉及预测性关联，而非因果关系。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.06621 [cs.AI] |
| （或 arXiv:2608.06621v5 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.06621 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bin Wang [查看电子邮件]
[v1]
2026年8月6日星期四 22:14:53 UTC（50 KB）
[v2]
2026年8月29日星期六 10:49:17 UTC（98 KB）
[v3]
2026年9月3日星期四 22:12:40 UTC（99 KB）
[v4]
2026年10月5日星期一 08:47:09 UTC（124 KB）
[v5]
2026年10月26日星期一 19:19:30 UTC（121 KB）
来源：arXiv cs.AI · arxiv.org