跳到正文
arXiv cs.AI· Matt Y. Cheung, Ashok Veeraraghavan, Hanjie Chen, Guha Balakrishnan·· 3 天前AI 评分24

CROP:面向推理轨迹前缀的共形认证方法

Conformal Certification of Reasoning Trace Prefixes

AI 导读

针对语言模型推理轨迹中错误前仍含有效步骤的问题,研究者提出 CROP(Conformal Reasoning Output Prefixes),一种与验证器无关的校准方法,可返回步骤风险低于校准阈值的最长连续前缀,并将未认证后缀交由下游审查或修复。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言模型的推理轨迹很少是全有或全无的;在出现关键错误之前,它们往往包含有效的中间步骤。现有的不确定性量化方法通常对最终答案或整个回答进行认证,无法为可安全保留的序列轨迹比例提供统计保证。为解决这一问题,我们提出了 CROP(Conformal Reasoning Output Prefixes,共形推理输出前缀),一种与验证器无关的干净前缀认证校准流程。给定任意步骤级风险代理,CROP 选择一个校准后的阈值,并返回步骤风险代理始终低于该阈值的最长连续前缀,将未认证的后缀交由下游审查或修复。在可交换性假设下,CROP 严格控制在返回前缀中包含标注错误的边际概率。在六个过程标注的推理数据集上,我们证明 AUROC 等标准步骤级指标并不能完全反映前缀效用,这表明验证器应改为通过认证前缀长度来评估。此外,CROP 平衡了过度保留与保留不足,并通过保留有效的中间推理、丢弃误导性后缀,提升了下游修复准确率。最终,这项工作将前缀认证定位为过程监督、弃权与修复之间严谨而实用的桥梁。代码见 此 https URL。
评论: 已被 EMNLP 2026 接收(Oral,主会)
主题: 人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG);机器学习(stat.ML)
引用为: arXiv:2605.30085 [cs.AI]
  (或 arXiv:2605.30085v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.30085

arXiv 颁发的 DOI,经由 DataCite

提交历史

来自:Matt Cheung [查看邮箱]
[v1] 2026年5月28日星期四 15:31:42 UTC(604 KB)
[v2] 2026年10月10日星期六 00:21:28 UTC(1,280 KB)

来源:arXiv cs.AI · arxiv.org