arXiv cs.AI· Boxi Zhou, German Sviridov, Dmitrii Ustiugov, Haris Javaid·· 10 小时前AI 评分42
用超时级联降低编程智能体推理成本
Reducing Inference Cost of Coding Agents with Timeout Cascades
AI 导读
研究评估了 2024 年以来发布的 36 个开源大、小模型,发现近期小模型在软件工程基准上正缩小与大模型的准确率差距,且差距高度集中在难题上。采用先试小模型、必要时升级到大模型的混合推理策略,总 GPU 小时成本最多降低 33%,在 SWE-bench Verified 全部任务上成本降低 16.4% 且不牺牲准确率。该简单级联方案接近 oracle 式任务路由器的效果,无需复杂的学习型路由器。
正文 · AI 翻译
摘要:AI 编程智能体已成为大语言模型最热门的应用之一。然而,智能体式 AI 需要消耗大量 GPU 计算资源,这限制了其盈利能力和大规模可行性。本文研究更小、更便宜的模型能否在不牺牲准确率的前提下降低这一成本。
我们在一个软件工程基准上评估了 2024 年以来发布的 36 个热门大、小开放权重模型,发现近期的小模型正在缩小与大型模型之间的准确率差距。我们研究了这一差距的结构,发现差距高度集中在小语言模型无法解决的困难任务上,而在简单和中等复杂度任务上则取得了非常好的准确率。基于这一观察,我们表明,采用先尝试小模型、仅在需要时升级到大模型的混合推理策略,可以在不牺牲准确率的情况下,将总 GPU 小时成本最多降低 33%,在 SWE-bench Verified 的全部任务上降低 16.4%。引人注目的是,这种简单的级联方案几乎与 oracle 式任务路由器相当,凸显出一条在生产环境中部署成本感知编程智能体的实用路径,无需复杂的学习型任务路由器,且工程复杂度极低。
| 学科: | 人工智能(cs.AI);软件工程(cs.SE) |
| 引用为: | arXiv:2611.24324 [cs.AI] |
| (或 arXiv:2611.24324v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24324 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:German Sviridov [查看邮箱]
[v1]
2026 年 11 月 18 日星期三 12:26:42 UTC(180 KB)
来源:arXiv cs.AI · arxiv.org