CIKA：用 LLM 作为概念掌握模拟器，通过干预式时间序列因果发现提升数学推理

查看 PDF HTML（实验性）

摘要：近期用于提升 LLM 数学推理能力的方法，无论是基于 MCTS 的测试时搜索，还是因果图引导的知识注入，都无法识别哪些概念对正确答案有因果贡献，因为观察到的关联可能是虚假的，由问题难度等混杂因素驱动。
我们提出 CIKA（知识激活的因果干预），这是一个将 LLM 本身用作干预模拟器的框架：提示将概念状态设为“已掌握”，正确性变化估计因果效应。我们将这一量形式化为干预能力探针（ICP），它诊断 LLM 能否使用给定概念——这与仅仅拥有知识不同。由于干预外生地设置概念状态，独立于问题难度，ICP 能够分离观察方法无法分离的混杂。
在 67 个筛选问题上，排名最高概念的 ICP（+0.219）显著大于阴性对照的 ICP（+0.039；配对 $t$ 检验，$p < 10^{-6}$，Cohen's $d = 0.86$），证实该探针能够区分因果相关概念与无关概念。对 601 个 Omni-MATH 问题的分析进一步表明，已解决问题的 ATE 比未解决问题高 6.1$\times$（0.338 对 0.055），证实 ICP 对问题解决成功具有预测性。在权重完全冻结的 7B 参数 LLM 上，CIKA 在无污染的 Omni-MATH-Rule 基准上达到 69.7\%，总体达到 64.0\%，而 o1-mini 为 60.5\%，在 GSM8K 上达到 97.2\%，在 AIME 2024--2026 上达到 46--50\%，在 MathArena 上达到 46.2\%。在基础模型单独失败的问题上，因果知识激活组件贡献了 33.8\% 的正确答案，表明 LLM 已经拥有但尚未激活所需知识。

评论：	17 页，0 张图。v2：修订为技术报告。澄清了问题分解设计导致每个问题 110+ 次 LLM 调用，并增加了关于调用成本和独立采样的讨论。更正了参考文献
主题：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2605.07600 [cs.LG]
	（或 arXiv:2605.07600v2 [cs.LG] 为此版本）
	https://doi.org/10.48550/arXiv.2605.07600 arXiv 颁发的 DOI 通过 DataCite

提交历史

来自：Tsuyoshi Okita [查看邮箱]
[v1] 2026 年 5 月 8 日星期五 11:19:01 UTC（28 KB）
[v2] 2026 年 10 月 25 日星期日 17:27:38 UTC（23 KB）