arXiv cs.AI· Yueer Pan, Yuexi Pan·· 12 小时前AI 评分31
思维链忠实性评估中的正确性条件选择问题
Correctness Conditioning as Selection in Chain-of-Thought Faithfulness Evaluation
AI 导读
将思维链（CoT）忠实性评估限定在回答正确的样本上会改变所测量的总体，研究用七变量结构因果模型推导出观测差距 Δ = Cov(A, C)/P(C=1)，区分难度混杂与捷径引发的对撞偏差。
正文 · AI 翻译
摘要：将思维链（CoT）忠实性评估限制在回答正确的实例上，会改变所测量的总体。我们在一个七变量结构因果模型中研究这一选择步骤，并推导出精确的观测差距 $\Delta = \operatorname{Cov}(A, C)/P(C=1)$。该模型区分了难度混杂与捷径诱导的对撞偏倚，并陈述了通过潜在响应倾向来表达该差距所需的条件独立假设。对 18 篇论文的方案审查区分了答案正确性限制与基于一致性的选择、基准构建和训练数据过滤。我们在算术任务上评估了四个低于上限的部署，并在所有四个部署中都观察到正的选择差距。主要的 GLM-5.3 运行产生了 +7.4 个百分点的差距（$n = 1000$，$p < 0.0001$），合并的 Cochran-Mantel-Haenszel 分析给出 OR = 1.70（$p < 10^{-6}$）。一项无假设的协方差分解将 GLM-5.3 差距的 42.8% 归因于可干预操作数量的层间变异，其余大部分未归因。当每个实例的反事实合规性都可观测时，评估所有轨迹可直接估计总体忠实性，而无需正确性过滤。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.37070 [cs.AI] |
| （或 arXiv:2610.37070v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37070 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuexi Pan [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 11:35:29 UTC（4,384 KB）
来源：arXiv cs.AI · arxiv.org