小模型何时更绿色？为智能体 AI 合理选型语言模型

查看 PDF HTML（实验性）

摘要：AI 智能体使用大语言模型（LLM）进行多步规划与行动，但模型通常按单次调用而非按完成的任务进行比较。本文提出：智能体应使用哪个模型来可靠地完成任务，同时最小化能耗、成本和时间？我们表明，按单次调用进行比较对于智能体 AI 可能具有误导性。由于任务只有在所有必需步骤都成功时才算成功，单步可靠性的微小差异可能导致整体任务成功率的巨大差异。失败的尝试也会消耗资源。因此，我们使用每成功完成一个任务的能耗、成本和时间来评估模型，将完成的任务视为功能单元。在此基础上，我们开发了一个用于在智能体工作流中选择 LLM 的决策模型。该模型适用于具有二元或分级结果的任务，以及有或无重试的设置。我们表明，每种资源都有一个交叉任务长度，超过该长度后，较小、可靠性较低的模型不再是更环保、更便宜或更快的选择。这些交叉点将任务分为三种情形：对于短任务，较小的模型更受青睐；对于长任务，较大的模型更受青睐；只有在这两个极端之间，目标之间的偏好才起作用。我们将这些结果嵌入一个两阶段框架，将效率与偏好分离。帕累托筛选首先剔除永远没有竞争力的模型；只有当存在真正的权衡时，才需要进行加权决策。一项针对来自五家开发商的 15 个开放权重模型（参数从 0.6B 到 27B）在两项多步智能体任务上、并测量 GPU 能耗的试点研究，支持了预测的结构。每完成一个任务能耗最低的模型会随任务长度和任务类型而变化，观察到的交叉点通常与根据单步测量预测的交叉点相符。这些发现为智能体 AI 中语言模型的合理规模选择提供了一个实用框架。

提交历史

来自：Sajid Siraj [查看电子邮件]
[v1] 2026年10月14日星期三 00:37:23 UTC（88 KB）