arXiv cs.AI· Qi Xu, Zijie Lei, Zhifei Deng, Zhigang Hua, Luke Simon·· 14 小时前AI 评分20
预训练容量何时助力因果学习？从标量预测到反事实后训练
When Does Pre-Trained Capacity Help Causal Learning? From Scalar Prediction to Counterfactual Post-Training
AI 导读
研究基于 Qwen 2.5 家族构建 CausalLLM 与 CausalGen 两个系统，考察预训练模型容量与因果任务适配后表现的关系。骨干从 0.5B 增至 1.5B 时，IHDP 上标量估计结果不一，但完整生成式流程后 CodeGen pass@1 从 0.267 升至 0.575，治疗效果分数从 0.231 升至 0.515。
正文 · AI 翻译
摘要：预训练模型容量与因果任务适配后性能之间有何关系？我们研究了基于 Qwen 2.5 系列构建的两个系统：CausalLLM 使用针对不同处理方式的头来估计标量潜在结果；CausalGen 则使用软前缀和事实监督微调（SFT）、反事实 SFT 以及偏好对齐，生成以处理为条件的文本或代码。将骨干模型规模从 0.5B 增大到 1.5B，在 IHDP 上得到的标量估计结果好坏参半，但在完整的生成式流程之后，CodeGen 的 pass@1 从 0.267 提升到 0.575，处理效应得分从 0.231 提升到 0.515。在 0.5B 的 CausalLLM 中，叙事型输入将平均 sqrt(PEHE) 从 1.842 降至 1.780，相比表格型输入提升了 3.4%；相比无 LLM 基线提升 5.8%，这一提升综合了表示和输入格式的变化。这些描述性比较促使我们区分可用容量与可转换容量。它们并未分离出训练后阶段的贡献：两个系统在数据集、架构、输出模态和监督方式上均不相同，且缺少中间阶段的评估。仅有两个小型骨干模型和三次重复实验，这些结果支持的是关于容量—适配对齐的假设，而非通用缩放定律或已证明的因果机制。
| 评论： | 10 页。已被 NeurIPS 2026 研讨会接收：从预训练到训练后的过渡 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.33311 [cs.LG] |
| （或 arXiv:2610.33311v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33311 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qi Xu [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 21:27:48 UTC（1,395 KB）
来源：arXiv cs.AI · arxiv.org