arXiv cs.AI· Haoyue Liu, Zhichao Wang, Huanyu Yan, Xiaoying Tang·· 9 天前AI 评分31
BudgetAPO：如何在紧预算下优化提示词？噪声自适应评估方案
How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation
AI 导读
BudgetAPO 是一种面向紧预算场景的单阶段提示词优化器，通过短探测测量任务噪声来自适应调整评估切片大小，并用固定切片将每次接受/拒绝决策转为配对比较。在七个基准和五个被测模型上，BudgetAPO 在每个模型上均排名第一，并在 Holm 校正配对检验中击败所有基线；在 250 次调用预算下仅 13% 的运行返回原始种子提示词，而 GEPA 为 86%。
正文 · AI 翻译
摘要：自动提示优化（APO）已被广泛用于在不更新权重的情况下适配大语言模型，并取得了有前景的结果。然而，现有方法如 GEPA 和 OPRO 假设需要数百到数千次主体模型调用，远超付费、限速 API 背后的实际可行范围。在预算紧张的情况下，它们会以两种方式失败：多阶段流水线可能耗尽预算并原样返回种子提示，而单阶段方法在固定大小的微批次上比较候选，而不考虑每个任务的噪声。作为补救，我们提出了 BudgetAPO，一种面向紧张预算机制的单阶段优化器。BudgetAPO 包含：（1）一种噪声自适应规则，根据每个任务的噪声调整评估切片的大小，噪声由短探针测量；（2）一个固定切片，将每个接受/拒绝决策转化为配对比较；（3）一个反思算子，联合重写推理策略和输出格式。在七个基准和五个主体模型上的大量结果表明，BudgetAPO 在每个主体上均排名第一，并在 Holm 校正的配对检验下击败所有基线，同时在 250 次调用时仅 13% 的运行返回种子，而 GEPA 为 86%。在 GPT-OSS-20B 上，GEPA 需要 5 倍的调用次数才能匹配 \method 的 100 次调用得分。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.05671 [cs.AI] |
| （或 arXiv:2610.05671v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.05671 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haoyue Liu [查看电子邮件]
[v1]
2026年10月5日星期一 01:34:14 UTC（6,677 KB）
[v2]
2026年10月8日星期四 14:15:37 UTC（6,671 KB）
来源：arXiv cs.AI · arxiv.org