arXiv cs.AI· Matt Y. Cheung, Ashok Veeraraghavan, Hanjie Chen, Guha Balakrishnan·· 3 天前AI 评分24
CROP:面向推理轨迹前缀的共形认证方法
Conformal Certification of Reasoning Trace Prefixes
AI 导读
针对语言模型推理轨迹中错误前仍含有效步骤的问题,研究者提出 CROP(Conformal Reasoning Output Prefixes),一种与验证器无关的校准方法,可返回步骤风险低于校准阈值的最长连续前缀,并将未认证后缀交由下游审查或修复。
正文 · AI 翻译
摘要:语言模型的推理轨迹很少是全有或全无的;在出现关键错误之前,它们往往包含有效的中间步骤。现有的不确定性量化方法通常对最终答案或整个回答进行认证,无法为可安全保留的序列轨迹比例提供统计保证。为解决这一问题,我们提出了 CROP(Conformal Reasoning Output Prefixes,共形推理输出前缀),一种与验证器无关的干净前缀认证校准流程。给定任意步骤级风险代理,CROP 选择一个校准后的阈值,并返回步骤风险代理始终低于该阈值的最长连续前缀,将未认证的后缀交由下游审查或修复。在可交换性假设下,CROP 严格控制在返回前缀中包含标注错误的边际概率。在六个过程标注的推理数据集上,我们证明 AUROC 等标准步骤级指标并不能完全反映前缀效用,这表明验证器应改为通过认证前缀长度来评估。此外,CROP 平衡了过度保留与保留不足,并通过保留有效的中间推理、丢弃误导性后缀,提升了下游修复准确率。最终,这项工作将前缀认证定位为过程监督、弃权与修复之间严谨而实用的桥梁。代码见 此 https URL。
| 评论: | 已被 EMNLP 2026 接收(Oral,主会) |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG);机器学习(stat.ML) |
| 引用为: | arXiv:2605.30085 [cs.AI] |
| (或 arXiv:2605.30085v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.30085 arXiv 颁发的 DOI,经由 DataCite |
提交历史
来自:Matt Cheung [查看邮箱]
[v1]
2026年5月28日星期四 15:31:42 UTC(604 KB)
[v2]
2026年10月10日星期六 00:21:28 UTC(1,280 KB)
来源:arXiv cs.AI · arxiv.org