arXiv cs.AI· Jyotirmoy Nath, Neeraj Kumar, Brejesh Lall·· 11 小时前AI 评分38
Prompt Codebooks：面向语言模型指令优化的离散组合式优化方法
Prompt Codebooks: Discrete Compositional Optimization for Language Model Instruction Refinement
AI 导读
研究者提出 Prompt Codebook Optimization（PCO），将自动提示词优化重构为对自然语言“本能”原子指令单元的离散组合学习，通过 LLM 编码器按输入路由到码本子集并由生成器组合成提示词。
正文 · AI 翻译
摘要：自动提示优化（APO）在基于 LLM 的智能体工作流中带来了显著收益。然而，现有方法大多将每个任务的提示视为一个整体、与实例无关的字符串，并通过全局编辑进行优化，从而产生脆弱的更新，且无法复用已学到的子行为。我们提出提示码本优化（PCO），这是一种新颖的组合式提示优化框架，它将 APO 重新表述为对自然语言直觉——即原子化、可复用的指令单元——的有限词表进行离散学习。PCO 将提示构建知识组织在一个离散码本中，并通过基于 LLM 的编码器将每个输入路由到一小部分条目；生成器将这些条目组合成供执行器使用的提示；评论器发出结构化判定，该判定按归因分解为逐变量的文本梯度，从而在语言值极小极大目标下联合训练编码器、生成器、评论器和码本。由此产生的路由是逐实例的：同一任务中的不同输入会收到不同的直觉组合。在六个基准上，PCO 相比零样本在 Qwen3-8B 上提升总体性能 +13.50 分，在 LLaMA-3.1-8B 上提升 +11.80 分。关键的是，PCO 在 HotpotQA 上超过 GEPA +6.34 分（Qwen3-8B）和 +4.27 分（LLaMA-3.1-8B），同时将部署提示长度相比 MIPROv2 最多减少 14.1$\times$，相比 GEPA 减少 3.0$\times$。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.28360 [cs.AI] |
| （或 arXiv:2605.28360v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.28360 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jyotirmoy Nath [查看电子邮件]
[v1]
2026年5月27日星期三 11:57:12 UTC（1,179 KB）
[v2]
2026年8月3日星期一 14:49:01 UTC（113 KB）
[v3]
2026年10月16日星期五 16:00:25 UTC（994 KB）
来源：arXiv cs.AI · arxiv.org