跳到正文
arXiv cs.CY· Jennifer Zhang, Amanda Coston·· 23 小时前AI 评分36

研究:LLM 何时能建模正确的预测目标?高风险风险预测中的问题形式化

When Do LLMs Model the Right Target? Problem Formulation in High-Stakes Risk Prediction

AI 导读

研究评估 OpenAI 与 Anthropic 的 11 个模型在儿童福利、医疗、就业场景中生成预测模型代码时能否正确处理"决策依赖"问题,发现无提示引导时 LLM 无法可靠应对。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:生成式 AI 越来越多地被用于协助数据科学任务,但其能否正确构建分析问题仍存在根本性疑问。我们研究了在为高风险决策开发模型时,大语言模型(LLM)构建预测问题的能力。我们聚焦于一个特定的效度挑战:决策依赖性,即历史决策影响观测结果时产生的问题。我们使用来自 OpenAI 和 Anthropic 的 11 个模型以及七种提示条件,在儿童福利、医疗保健和就业场景中评估 LLM 生成的代码和解释在问题构建方面的这一表现。我们评估 LLM 生成的代码是否实现了在研究假设下适合估计目标结果的程序,以及解释是否承认决策依赖性。我们发现,若提示中未给出指导,LLM 无法可靠地处理决策依赖性。当提示明确指定目标、估计该目标所需的假设以及估计程序时,与目标一致的实现达到 99-100%。在前沿模型中,仅用简单的提示描述决策如何影响结果,似乎就足以引出与目标一致的实现。部分回答也承认了决策依赖性,但未在代码中加以处理。我们的发现表明,分析师不应在缺乏明确方法学指导和仔细审查的情况下依赖 LLM 正确构建预测问题。我们提出了以效度为中心的 LLM 辅助预测建模指南,涵盖提示构建、目标与估计程序的验证以及关键假设的识别。确立效度是评估是否在高风险场景中部署预测模型的必要早期步骤,但部署还需要权衡更广泛的伦理、制度和实践考量。
主题: 计算机与社会(cs.CY);机器学习(cs.LG);方法论(stat.ME)
引用为: arXiv:2611.23638 [cs.CY]
  (或 arXiv:2611.23638v1 [cs.CY] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23638

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jennifer Zhang [查看电子邮件]
[v1] 2026年11月18日星期三 00:02:41 UTC(60 KB)

来源:arXiv cs.CY · arxiv.org