跳到正文
arXiv cs.AI· Bohe Chen·· 23 小时前AI 评分34

用 Demonstration-Conditioned Prompt Search 审计提示词优化器:简单方法也能打

Simplicity Goes Far: Auditing Prompt Optimizers with Demonstration-Conditioned Prompt Search

AI 导读

研究将 APE 配方重构为 Demonstration-Conditioned Prompt Search(DCPS),作为机制归因对照,冻结生成器、以随机采样示例为条件、在验证集上打分选优,不做学习更新、反思或进化。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:自动提示优化正变得日益复杂。近期方法叠加了策略梯度更新、轨迹反思和进化搜索。这些方法共享一个生成-选择步骤;若不对其加以控制,所报告的增益可能混淆了优化器机制的贡献与更大采样预算的贡献。我们将这一步骤单独分离为演示条件化提示搜索(DCPS),将自动提示工程师(APE)配方重新用作机制归因对照:它冻结生成器,以随机采样的演示为条件,在验证数据上对候选进行评分,并保留最优者——不进行学习式更新、反思或进化。在两个优化器家族中,DCPS 在 StablePrompt 中替代了近端策略优化(PPO),在约三分之一实测成本下分类准确率差距在 0.5 个百分点以内;在基于 DSPy 的复合 AI 系统中,在报告预算下,它在 GPT-4.1-mini 上匹配 GEPA 的宏平均准确率,同时 rollout 次数减少 55%,实测 API 成本平均降低 32%。该审计揭示了一种任务依赖模式:在结构化和指令遵循任务上,提议与选择恢复了较重优化器的大部分性能,而额外机制在某些开放式和推理密集型场景中仍保持优势。我们建议将提示优化器与生成-选择对照进行基准比较,并在报告准确率的同时报告 rollout 次数、token 用量和美元成本。代码与工件:此 https URL。
注释: 13 页,2 幅图,4 张表
主题: 人工智能(cs.AI)
引用为: arXiv:2611.22605 [cs.AI]
  (或 arXiv:2611.22605v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22605

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Bohe Chen [查看邮箱]
[v1] 2026年11月17日 星期二 11:22:27 UTC(50 KB)

来源:arXiv cs.AI · arxiv.org