智能体数据科学中的沉默失败：现有评测为何掩盖了方法论缺陷

查看 PDF HTML（实验性）

摘要：大语言模型显著降低了编写代码的门槛。自然，这也推动了数据科学智能体的发展，它们有望实现从任务制定到模型开发的数据科学设计与执行的自动化。现有的智能体数据科学（agentic DS）评估主要考察下游预测性能和代码正确性，为智能体数据科学的能力提供了初步认识。我们认为，这些评估忽视了数据科学的基本原则：方法论层面的数据科学知识和领域知识。因此，仅评估下游性能会掩盖数据泄漏和验证不当等方法论层面的失败，限制了稳健的智能体数据科学系统的发展。在本文中，我们从三个不同角度评估智能体数据科学，而不仅限于准确率：1）对常见智能体数据科学框架和模型在 220 个数据科学任务中的失败模式进行大规模分析，2）一套可复用、可扩展的测试套件，包含精心设计的数据科学任务，以受控方式测试六种特定失败，3）针对 Kaggle 竞赛中的专家解决方案，对智能体数据科学流程进行定性评估。我们发现，尽管智能体框架或模型能力复杂，大多数智能体解决方案仍至少包含一种失败模式。此外，我们识别出数据泄漏失败的发生与预测性能之间存在正相关，这证实了在准确率之外评估智能体的必要性。我们的定性分析表明，与竞赛获胜的数据科学家相比，数据科学智能体普遍缺乏问题解决的创造力和领域知识。我们认为，如本文所呈现的原则性失败模式分析应成为智能体数据科学评估的组成部分，而我们揭示的洞见将是开发可信智能体数据科学流程的关键。

提交历史

来自：Xue Li [查看电子邮件]
[v1] 2026年10月9日星期五 08:05:09 UTC（1,187 KB）