arXiv cs.CL· Ming Zhong, Stacy Li, Nicholas Carlini, Matthew Jagielski·· 12 小时前AI 评分58
Agent4Sci：前沿智能体能否在真实科学 ML 任务上提升已发表最优模型
Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?
AI 导读
研究者提出 Agent4Sci，一个覆盖 11 个领域、20 个科学 ML 基准的长程测试平台，用于衡量前沿编码智能体能在真实条件下把已发表最优模型提升多少。Claude Opus 取得 10.4% 的平均相对提升且无运行被标记为学术不端，但轨迹分析显示这些收益几乎全部来自 ML 工程技巧而非研究级洞察，并暴露出新颖性误判、资源利用不足和迅速陷入局部工程搜索三类局限。
正文 · AI 翻译
摘要：前沿编程智能体正日益被描绘为端到端自动化研究者，而科学机器学习为这一承诺提供了严苛的检验：改进科学模型往往需要超越常规机器学习工程的领域洞察力。我们提出 Agent4Sci，一个长时程测试平台，用于衡量当今智能体在科学机器学习基准上能在多大程度上改进已发表的最佳模型，涵盖 11 个领域的 20 个基准。Agent4Sci 并非在排行榜上对智能体排名，而是探究智能体在真实条件下能在这些任务上取得何种进展，以及它们在何处存在不足。实证表明，当今前沿智能体在每个基准上都推进了已发表的最佳结果，其中 Claude Opus 达到 10.4% 的平均相对改进，且没有任何运行被标记为学术不端。然而，这些增益几乎完全来自一套机器学习工程技巧，而非研究层面的洞察。轨迹分析揭示了该场景下三个反复出现的局限：新颖性校准失当、资源利用不足，以及迅速陷入局部工程性扫参。针对研究构思、实验管理和定时检查清单的轻量级插件技能将 Claude Opus 从 10.4% 提升至 20.1%，将 Codex 从 4.4% 提升至 8.1%，同时产生更多样、更贴合领域的干预。Agent4Sci 为社区提供了一种方式，用以追踪并推动前沿智能体从机器学习工程走向针对真实世界科学机器学习问题的领域洞察。代码和数据可在 GitHub（此 https URL）和 Hugging Face（此 https URL）上获取。
| 评论： | NeurIPS 2026 E&D Track |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28763 [cs.AI] |
| （或 arXiv:2610.28763v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28763 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ming Zhong [查看电子邮件]
[v1]
2026年10月20日星期二 18:03:48 UTC（11,505 KB）
来源：arXiv cs.CL · arxiv.org