arXiv cs.AI· Chenxi Liu, Yongqiang Chen, Tongliang Liu, Mingming Gong, James Cheng, Bo Han, Kun Zhang·· 14 小时前AI 评分32
用大语言模型发现并推理隐藏世界中的因果关系：COAT 框架
Discovering and Reasoning of Causality in the Hidden World with Large Language Models
AI 导读
研究者提出 COAT（Causal representatiOn AssistanT）框架，利用 LLM 的世界知识为因果发现推荐可测量的高层变量，而非让 LLM 直接推断因果关系。
正文 · AI 翻译
摘要：揭示隐藏的因果变量及其背后的因果机制，对科学发展至关重要。尽管过去几十年取得了进展，现有的因果发现（CD）实践仍严重依赖高质量的测量变量，而这些变量通常由人类专家给出。事实上，非结构化数据背后缺乏定义良好的高层变量，一直是 CD 在更广泛现实应用中长期存在的障碍。这一过程自然可以受益于能够提示系统中潜在隐藏变量的自动化流程。有趣的是，大语言模型（LLM）是在对世界的大量观测上训练的，并已展现出处理非结构化数据的强大能力。为了利用 LLM 的能力，我们开发了一个名为因果表示助手（COAT）的新框架，它结合 LLM 丰富的世界知识，针对与其配对的非结构化数据上的高价值目标变量，为 CD 提出有用的测量变量。COAT 不直接用 LLM 推断因果关系，而是从中间 CD 结果中构建反馈给 LLM，以改进所提出的变量。给定目标变量和配对的非结构化数据，我们首先开发 COAT-MB，它利用所提出变量的预测能力，迭代地揭示目标变量的马尔可夫毯。在 COAT-MB 的基础上，COAT-PAG 进一步扩展，通过遍历目标变量并主动寻找新的高层变量，揭示更完整的因果图，即部分祖先图。此外，COAT 可靠的 CD 能力还通过发现调整集，将去偏因果推断扩展到非结构化数据。我们为 CD 结果建立了理论保证，并在真实基准和现实案例研究中验证了其效率和可靠性。
| 评论： | 已被《机器学习研究杂志》接收发表。本文是我们 NeurIPS 2024 论文的扩展期刊版本。Chenxi Liu 和 Yongqiang Chen 贡献相同。95 页，52 幅图。项目页面：this https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；方法论（stat.ME） |
| 引用为： | arXiv:2402.03941 [cs.LG] |
| （或本版本的 arXiv:2402.03941v4 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2402.03941 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chenxi Liu [查看邮箱]
[v1]
2024 年 2 月 6 日星期二 12:18:54 UTC（4,077 KB）
[v2]
2024 年 10 月 31 日星期四 12:27:30 UTC（3,518 KB）
[v3]
2025 年 10 月 13 日星期一 06:34:20 UTC（2,936 KB）
[v4]
2026 年 10 月 26 日星期一 04:29:18 UTC（2,773 KB）
来源：arXiv cs.AI · arxiv.org