arXiv cs.CL· Minming Ye, Min Liu, Haoang Chi, Ciheng Wu, Naiyang Guan·· 2 天前AI 评分27
ECI2D：通过可执行因果干预蒸馏自生成上下文演示
From Observation to Intervention: Distilling Self-Generated In-Context Demonstrations via Executable Causal Intervention
AI 导读
研究者提出 ECI2D 方法，将语言理由抽象为可执行程序，对逻辑相似样本施加因果干预（do-operator），仅保留具备迁移不变性的自生成 ICL 演示。在数学、逻辑和常识推理基准上，ECI2D 持续优于基于观察的 ICL，且保留的演示数量远少，测试分布偏移时增益超过 7 分。
正文 · AI 翻译
摘要：自生成上下文学习（ICL）使 LLM 能够合成自己的少样本演示，往往优于人工提示。然而，现有方法通过观察来筛选演示，假设只要推理能导致正确输出就是高质量的。我们表明这种筛选存在\textit{观察等价性}，即忠实的因果推理和虚假的事后推理都能产生相同的输出，仅凭观察在统计上无法区分。受独立因果机制的启发，我们认为忠实的推理意味着\textit{迁移不变性}，即因果推理应在逻辑相似的样本间保持有效。我们将这一标准实例化为\textbf{可执行因果干预演示蒸馏}（ECI2D），它将语言推理抽象为可执行程序，并对逻辑相似的样本施加因果干预（$do$-算子），仅保留那些体现迁移不变性的演示。在数学、逻辑和常识推理基准上的实验表明，ECI2D 始终优于基于观察的 ICL，同时保留的演示数量远少得多，随着测试分布偏移，增益超过 7 分。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21149 [cs.CL] |
| （或 arXiv:2610.21149v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21149 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Minming Ye [查看邮箱]
[v1]
2026年10月15日星期四 03:06:20 UTC（284 KB）
来源：arXiv cs.CL · arxiv.org