arXiv cs.AI· Matthew Li, Albert Liang, Dilip Raj·· 10 小时前AI 评分58
MLE Agents:在大规模推荐系统中自主完成机器学习工程
MLE Agents: Autonomous ML Engineering in Large-scale Recommendation Systems
AI 导读
研究团队构建 human-on-the-loop 的 MLE 智能体,在工业级搜索排序模型上自主提出、实现、训练并评估模型改动,工程师保留目标设计、搜索方向和最终模型审核的控制权。
正文 · AI 翻译
摘要:改进大规模排序与推荐模型的典型工作流程缓慢而繁琐:工程师提出假设,将其实现为代码改动,训练模型,并在离线和在线环境中进行评估,过程中往往依赖自身的直觉和经验。自主 LLM 智能体有望通过自行运行这一循环来加速该过程,但它们能否在工业级系统中做到这一点,而非仅在基准测试或小型代理任务上,目前仍不清楚。我们构建了人在回路中的机器学习工程师(MLE)智能体,它们能在大规模搜索排序器上提出、实现、训练和评估模型改动。工程师保留对目标设计、搜索方向和最终模型审核的控制权。我们识别出使这一工业场景具有挑战性的三个障碍:每次实验的反馈需要数小时,离线指标并不总能预测在线影响,且改进在早期成果之后会趋于饱和。我们通过并行训练运行、与在线影响相匹配的校准目标以及细致的上下文工程来应对这些问题。在一次活动中,系统运行了 1,097 个已完成的候选实验并接受了 325 个,接受率为 29.6\%,而在不同目标和搜索约束下的早期活动中为 15.6\%。其最佳模型在大规模 A/B 测试中将搜索量提升了 0.23\%。若干改进是团队从未尝试过的架构变更,取自更广泛的行业和文献,这表明 MLE 智能体能够探索人类直觉所忽视的设计空间区域。我们发现,围绕模型所构建的框架设计至关重要:直觉上认为更强的底层模型就足够了,但根据我们的经验,围绕它的循环设计同样关键。更广泛地说,我们的工作表明,自主智能体能够在工业级系统中进行真正的机器学习工程。
| 评论: | NeurIPS 2026 AutoMLR 研讨会(口头报告) |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.23910 [cs.AI] |
| (或 arXiv:2611.23910v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23910 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Matthew Li [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 06:00:43 UTC(7,054 KB)
来源:arXiv cs.AI · arxiv.org