arXiv cs.CL· Andrej Leban, Theo Saarinen, Yuekai Sun·· 3 天前AI 评分27
CausalDS：面向数据科学智能体的因果推理基准
CausalDS: Benchmarking Causal Reasoning in Data-Science Agents
AI 导读
研究者推出 CausalDS 基准，用于评估数据科学智能体工作流中的因果推理能力。每个测试实例由采样的结构因果模型（SCM）、生成的观测数据和基于真实领域的合成自然语言故事构成，任务覆盖 Pearl 因果阶梯的全部三个层级，多数任务包含数据科学编码与工具调用环节，并对图无法识别的目标直接测试弃答。由于生成器完全合成，基准的组成、难度和规模均可作为参数调整，可随时抽取全新考题。
正文 · AI 翻译
摘要：大型语言模型（LLM）日益充当数据科学智能体，将抽象推理与高级工具使用相结合。然而，相关的基准测试格局大致分为：没有真实数据分析的符号因果推理基准，或没有因果数据生成结构的数据分析基准，或一系列因果数据科学任务。现有的因果评估数据集通常局限于来自现有来源的精选示例，其多样性来自有限的模板化变体，而非系统性地生成新颖的合成因果结构。我们提出 CausalDS，一个用于评估智能体式数据科学工作流中因果推理的基准。每个基准实例是一个场景，由采样的结构因果模型（SCM）及生成的观测数据，以及一个基于真实领域的配套合成自然语言故事组成。我们将基准组件的构成建立在从真实世界数据集获得的经验分布之上，从而在保留经验结构的同时，通过完全合成生成来降低记忆风险。然后，我们从每个场景中推导出涵盖 Pearl 全部三个层级的任务。大多数任务包含数据科学编码部分，由于观测不完美，模型通常需要使用多种工具才能得出最终答案。弃权被直接测试：对于图无法识别的目标，评分答案即为弃权。因此，该基准联合评估符号因果推理、数据科学、不确定性量化、弃权和工具使用/编码。由于生成器完全合成，该考试并非固定数据集：构成、难度和规模都是参数，可以随意抽取新的考试。
| 评论： | 74 页，16 幅图。代码见：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.08093 [cs.AI] |
| （或 arXiv:2607.08093v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.08093 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Andrej Leban [查看电子邮件]
[v1]
2026 年 7 月 9 日星期四 04:03:26 UTC（434 KB）
[v2]
2026 年 10 月 14 日星期三 02:19:46 UTC（509 KB）
来源：arXiv cs.CL · arxiv.org