强智能体做自主 ML 工程需要多少框架？Apple 研究对比最小化编码智能体与复杂框架
How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?
Apple 与 EPFL 的研究者在同等时间预算和相同前沿 LLM 骨干下，对比开源 SOTA 框架与仅提供 read、write、bash 原语的最小化编码智能体单次会话，发现前者没有优势，性能主要由骨干模型决定。通过大规模系统性消融实验，作者认为在编码智能体设定下多智能体编排器、专用检索子智能体等机制层变得冗余，围绕强模型手工搭建框架的投入在当前 MLE 基准上回报有限。
作者Kirill Brilliantov†‡、Alejandro Hernández-Cano†‡**、Emmanuel Abbé†
近期自主机器学习工程（MLE）智能体在公开排行榜上取得了显著进展。现代 MLE 智能体往往受长周期循环中的进展停滞和有限的大语言模型（LLM）原语所驱动，被部署在日益复杂的机制之上：多智能体编排器、专用检索子智能体等等。尽管此类框架不断扩展，但使用更原始但改进的编码智能体——即 LLM 通过读、写和 bash 原语直接访问执行环境——在该领域却鲜有关注。在本文中，我们发现，在相同的时间预算和相同的前沿 LLM 主干下，开源的最先进框架相比单次会话的最小框架编码智能体基线并无优势，这表明主干才是性能的主要驱动因素。通过一系列大规模系统性消融研究，我们认为在编码智能体场景下，这些机制层变得冗余。我们得出结论：围绕强模型精心构建手工框架所投入的努力，对当前的 MLE 基准测试而言回报甚微。
- † 洛桑联邦理工学院
- ‡ 同等贡献
- ** 在 Apple 工作期间完成
相关阅读与更新。
持续学习智能体是由模型、框架和记忆组成的系统，在长期多会话周期中运行。评估和训练它们需要将任务与智能体侧事件（如会话停止和启动、cron 任务以及记忆整合）交错进行。然而，现有的基准测试和训练框架仅调度基准测试自身的事件，使得每个基准测试与智能体组合都需要构建自定义的调度循环。我们提出 SCLATE，一个……
由生成式 AI 模型驱动的界面智能体（简称“智能体”）可以根据用户命令自动执行操作。开发智能体的一个重要方面是其用户体验（即智能体体验）。越来越需要为 AI 工程师之外的更广泛人群提供脚手架，以便他们能够对智能体体验进行原型设计，因为他们可以为设计智能体体验贡献宝贵的视角。在这项工作中，我们探索了……
来源：Apple Machine Learning Research · machinelearning.apple.com