arXiv cs.AI· Ankit Sonthalia, Haritz Puerto, Alexander Rubinstein, Martin Gubri, Seong Joon Oh·· 10 天前AI 评分41
BOTTLED 基准：LLM 智能体能否把通用能力"装瓶"成廉价可复用方案？
Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?
AI 导读
研究者提出 BOTTLED 基准，让 LLM 智能体在固定时间、算力和 API 预算下处理整个未标注工作负载，自主选择训练小模型或编写可复用程序，即"装瓶"能力。
正文 · AI 翻译
摘要：大语言模型（LLM）可以解决许多细分任务，但为数百万个相关实例分别查询它们可能成本高得令人望而却步。LLM 智能体能否自主为此类工作负载创建更廉价的解决方案？我们将这种能力称为“bottling”：将通用能力转化为任务特定解决方案的能力，从而在答案质量与摊销成本之间取得平衡。我们提出了 BOTTLED，一个基准测试，其中智能体接收整个未标注的工作负载，并必须在固定的时间、计算和 LLM API 预算下完成它。智能体自行选择方法，例如训练一个小模型或编写可复用程序。在十个模型和三项任务上，我们发现强大的零样本任务表现并不能可靠地转化为强大的 bottling 能力。零样本得分相近的模型在 bottling 后可能差异显著，60 次 bottling 运行中有 48 次得分低于其模型零样本表现 95% 置信区间的下界。此外，60 次运行中有 31 次在相同 token 预算下表现不及两个小模型蒸馏基线中较强的那个。尽管如此，bottling 仍可带来显著节省：在查询-产品相关性分类上，Opus 5 以约低 657 倍的报告成本保留了其零样本 macro-F1 的约 82%。Bottling 也可与 Jev 相竞争，后者是专为廉价、重复推理构建的“系统一”模型：在同一任务上，Opus 5 以 Jev 预计全工作负载成本的四分之一恢复了 Jev macro-F1 的约 94%。BOTTLED 为评估和改进智能体将有限资源投资于大型、重复工作负载的可复用解决方案的能力提供了基础。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.08775 [cs.AI] |
| （或 arXiv:2610.08775v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08775 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ankit Sonthalia [查看电子邮件]
[v1]
2026年10月6日星期二 17:57:19 UTC（165 KB）
来源：arXiv cs.AI · arxiv.org