arXiv cs.AI· Mushir Akhtar·· 2 天前AI 评分22
ClaimScope：面向数学主张审计的标签盲见证验证基准
ClaimScope: Label-Blind Witness Verification for Mathematical Claim Auditing
AI 导读
研究者提出 ClaimScope，一个包含 72 项任务的基准，通过裁决、范围、反例与修复四个环节审计数学主张，覆盖优化器状态传输、有限时域仿射递推和精确 2×2 线性代数。
正文 · AI 翻译
摘要：数学智能体通常通过答案准确率或证明接受度来评估。我们提出 ClaimScope，一个包含 72 项任务的基准，用于通过判定、范围、反例和修复来审计所提出的主张。任务涵盖优化器状态传输、有限时域仿射递推以及精确的 $2\times2$ 线性代数。我们评估了 Qwen3-8B 的直接生成以及四个匹配的两轮条件，每个条件都从相同的草稿开始。见证检查器仅评估模型提交的状态，不参考参考答案判定，也不提供替代见证。其反馈仍然传达有关有效性的信息：经核实的反驳可确立该主张为假，而拒绝理由可提示结构性修复。在此评估中，验证器反馈在无效主张上产生 $23/39$ 个被接受的反例和 $25/72$ 个安全完成，相比之下，无检查器的通用反馈为 $15/39$ 和 $20/72$。严格完成率仍为 $17/72$；判定准确率从 $47/72$ 变为 $46/72$。按主张分组的安全完成差异为 $.094$，bootstrap 95\% 区间为 $[.000,.198]$。所有七项任务级增益均符合时域/输入长度诊断。对直接输出进行事后仅模式校正，无需再次调用模型即可达到相同的 25 个安全任务。这些结果将主张分类与可执行证据区分开来，同时将观察到的增益定位于见证结构校正，而非证明更广泛的推理改进。
| 评论： | 已被 NeurIPS 2026 Workshop（数学推理与 AI）接收 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21581 [cs.AI] |
| （或 arXiv:2610.21581v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21581 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Mushir Akhtar [查看电子邮件]
[v1]
2026年10月15日星期四 09:29:02 UTC（18 KB）
来源：arXiv cs.AI · arxiv.org