跳到正文
arXiv cs.AI· Boxi Zhou, German Sviridov, Dmitrii Ustiugov, Haris Javaid·· 10 小时前AI 评分42

用超时级联降低编程智能体推理成本

Reducing Inference Cost of Coding Agents with Timeout Cascades

AI 导读

研究评估了 2024 年以来发布的 36 个开源大、小模型,发现近期小模型在软件工程基准上正缩小与大模型的准确率差距,且差距高度集中在难题上。采用先试小模型、必要时升级到大模型的混合推理策略,总 GPU 小时成本最多降低 33%,在 SWE-bench Verified 全部任务上成本降低 16.4% 且不牺牲准确率。该简单级联方案接近 oracle 式任务路由器的效果,无需复杂的学习型路由器。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:AI 编程智能体已成为大语言模型最热门的应用之一。然而,智能体式 AI 需要消耗大量 GPU 计算资源,这限制了其盈利能力和大规模可行性。本文研究更小、更便宜的模型能否在不牺牲准确率的前提下降低这一成本。
我们在一个软件工程基准上评估了 2024 年以来发布的 36 个热门大、小开放权重模型,发现近期的小模型正在缩小与大型模型之间的准确率差距。我们研究了这一差距的结构,发现差距高度集中在小语言模型无法解决的困难任务上,而在简单和中等复杂度任务上则取得了非常好的准确率。基于这一观察,我们表明,采用先尝试小模型、仅在需要时升级到大模型的混合推理策略,可以在不牺牲准确率的情况下,将总 GPU 小时成本最多降低 33%,在 SWE-bench Verified 的全部任务上降低 16.4%。引人注目的是,这种简单的级联方案几乎与 oracle 式任务路由器相当,凸显出一条在生产环境中部署成本感知编程智能体的实用路径,无需复杂的学习型任务路由器,且工程复杂度极低。
学科: 人工智能(cs.AI);软件工程(cs.SE)
引用为: arXiv:2611.24324 [cs.AI]
  (或 arXiv:2611.24324v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24324

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:German Sviridov [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 12:26:42 UTC(180 KB)

来源:arXiv cs.AI · arxiv.org