语言模型迭代创建、评分与修订数据科学项目

查看 PDF HTML（实验性）

摘要：我们评估了智能体 AI 模型能够在多大程度上完成一个端到端的数据科学项目，以及这种能力如何随反馈而提升。一个配备特定工具的“撰写者”模型会创建一个完整的数据科学项目，包括下载、清洗和分析数据集，并就此撰写一篇短文。项目执行后，由一个“评分者”模型对其进行评估。随后撰写者可以修改其提交内容，这一过程共重复三轮。我们考察了来自五家开发者的七个模型：Anthropic、OpenAI、Google、DeepSeek 和 this http URL。每个模型既充当撰写者也充当评分者，因此共有 49 个撰写者-评分者组合，我们对每个组合运行三次。在 147 份初始提交中，有 107 份能够运行并渲染，平均得分在最后一轮反馈后从 59% 提升至 76%。按撰写者划分，提升幅度从 Anthropic 的 Opus 5.5 的 3 个百分点到 Anthropic 的 Haiku 4.5 的 46 个百分点不等；按评分者划分，提升幅度从 Google 的 Gemini 3.8 Flash 的 13 个百分点到 Anthropic 的 Haiku 4.5 的 32 个百分点不等。当模型为自己的作品评分时，得分往往比其他模型给出的平均分高出约 9 个百分点。我们观察到的轮次间差异中，约有一半属于评分者自身的噪声。反馈通常能带来最高分数，但即使只是有机会修改，或者拥有额外的时间或工具调用预算而没有任何反馈，也会使部分模型显著提升，而另一些模型则不然。我们发现，这种循环能带来多大帮助取决于哪个模型扮演哪个角色，但较弱的模型通常无法提升较强的模型。

主题：	人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2611.05548 [cs.AI]
	（或 arXiv:2611.05548v1 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.05548 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Rohan Alexander [查看电子邮件]
[v1] 2026年11月3日星期二 19:39:03 UTC（233 KB）