arXiv cs.CL· Donggyu Lee, Hyeok Yun, Meeyoung Cha, Sungwon Park, Sangyoon Park, Jihee Kim·· 3 天前AI 评分36
EconCausal：面向大语言模型的上下文感知经济推理基准
EconCausal: A Context-Aware Economic Reasoning Benchmark for Large Language Models
AI 导读
研究者发布 EconCausal，一个从 2,595 篇顶级经济与金融期刊实证研究中提取的 10,490 条上下文标注因果三元组基准。在 19 个模型上测试发现，单上下文预测最高约 84% 准确率，但源与目标符号相反时平均准确率降至 44.27%，且带符号源示例比仅给目标输入低 11.54 个百分点。模型预测研究报告中不显著效应的准确率仅 19.16%。
正文 · AI 翻译
摘要：社会经济因果效应在很大程度上取决于其制度与环境背景。同一干预措施在不同监管制度、市场条件、时间段或人群中可能产生不同甚至相反的效果。这给承担决策支持角色的大语言模型（LLM）带来了挑战：它们能否在指定背景下推断因果效应的方向，并在背景变化时修正该判断？
为解决这一问题，我们提出了 EconCausal，这是一个大规模基准，包含从 2,595 篇顶级经济学与金融学期刊的高质量实证研究中提取的 10,490 个带背景标注的因果三元组，并通过严格的四阶段流程构建，包括多轮共识、背景精炼和多评审过滤。
在 19 个模型上，我们观察到跨背景预测中存在源符号过度迁移现象。虽然顶级模型在单背景预测中达到约 84% 的准确率，但总体平均准确率为 74.75%，而当源符号与目标符号不一致时，准确率降至 44.27%。在这些案例中，使用带符号的源示例比仅使用目标输入的准确率低 11.54 个百分点（pp）。在源符号被破坏的情况下，平均准确率低于 60%。模型也难以预测研究报告的不显著效应（准确率 19.16%）。
数据集和基准已公开提供，见 此 https URL。
| Comments: | 29 页。修订版包含更新的评估结果、稳健性分析、专家验证和参考文献 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| Cite as: | arXiv:2510.07231 [cs.CL] |
| （或 arXiv:2510.07231v5 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.07231 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Donggyu Lee [查看邮箱]
[v1]
2025 年 10 月 8 日星期三 17:00:49 UTC（369 KB）
[v2]
2025 年 10 月 9 日星期四 16:46:30 UTC（369 KB）
[v3]
2026 年 2 月 23 日星期一 05:21:42 UTC（35,854 KB）
[v4]
2026 年 5 月 26 日星期二 12:27:46 UTC（1,215 KB）
[v5]
2026 年 10 月 14 日星期三 04:49:22 UTC（1,318 KB）
来源：arXiv cs.CL · arxiv.org