arXiv cs.CL· Yujing Wang, Yulan He, Wenya Wang, Hanqi Yan·· 11 小时前AI 评分31
VERITAS：用逐层 Jacobian 投影将模型计算语言化，检测 CoT 推理忠实性
Verbalising Model's Computation for Chain-of-Thought Faithfulness Detection
AI 导读
VERITAS 通过逐层 Jacobian 投影，在每个生成的 CoT token 上把模型内部推理演化转写为可读文本，并用提取特征训练分类器定位推理偏离忠实性的位置。在 FaithCoT-Bench 与 BonaFide 的四个数据集上，其平衡准确率较 LLM-as-Judge 提升 28.4%，较激活探测平均提升 16.0%，并可泛化到不同数据集与模型架构。
正文 · AI 翻译
摘要：当前的思维链（CoT）验证方法从模型输出或静态激活中检测推理忠实性，但在解释不忠实性如何在生成过程中发展方面存在局限。我们提出 VERITAS 来言语化模型的计算过程：不同的推理锚点如何出现、如何跨层迁移，以及如何在输出中显现。VERITAS 采用逐层 Jacobian 投影，在每个生成的 CoT token 处生成模型内部推理演化的言语化描述。通过在沿轨迹提取的特征上训练分类器，我们表明这些结构化特征为推理如何以及在哪里偏离至不忠实性提供了有洞察力的视角。在 FaithCoT-Bench 和 BonaFide 的四个数据集上的实验表明，VERITAS 相比 LLM-as-Judge 取得显著性能提升，平衡准确率提升 28.4%，相比激活探测平均提升 16.0%。进一步分析表明 VERITAS 可泛化到不同数据集和模型架构。我们的工作表明，言语化模型计算为 CoT 忠实性提供了更丰富、更具可解释性的视角，从检测迈向对推理如何失败的机制性理解。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23275 [cs.CL] |
| （或 arXiv:2610.23275v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.23275 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yujing Wang [查看邮箱]
[v1]
2026年10月16日星期五 10:44:23 UTC（435 KB）
来源：arXiv cs.CL · arxiv.org