arXiv cs.CL· Junmo Cho, Suhan Kim, Sangjune An, Minsu Kim, Dong Bok Lee, Heejun Lee, Sung Ju Hwang, Hae Beom Lee·· 12 小时前AI 评分27
GFlowPO：用生成流网络做语言模型提示词优化
GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer
AI 导读
GFlowPO 将提示词搜索建模为隐变量提示词的后验推断问题，先用 off-policy 的 GFlowNet 目标微调轻量级 prompt-LM，并通过回放复用历史提示词评估提升样本效率。
正文 · AI 翻译
摘要：为语言模型（LM）寻找有效的提示词至关重要，却以困难著称：提示词空间在组合上极为庞大，且由于对目标 LM 的评估代价高昂，奖励十分稀疏。然而，现有的基于强化学习的提示词优化器往往依赖同策略更新以及从固定分布中采样的元提示词，导致样本效率低下。我们提出 GFlowPO，一个概率式提示词优化框架，将提示词搜索视为对潜在提示词的后验推断问题，并由元提示词引导的参考 LM 先验进行正则化。第一步，我们使用离策略的生成流网络（GFlowNet）目标对轻量级提示词 LM 进行微调，采用基于回放的训练策略，复用过去的提示词评估结果，从而实现样本高效的探索。第二步，我们引入动态记忆更新（DMU），这是一种无需训练的机制，通过注入（i）来自回放缓冲区的多样化提示词和（ii）来自小型优先队列的高性能提示词来更新元提示词，从而逐步将搜索过程集中于高奖励区域。在少样本文本分类、指令归纳基准和问答任务上，GFlowPO 始终优于近期离散提示词优化基线。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2602.03358 [cs.AI] |
| （或 arXiv:2602.03358v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.03358 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sangjune An [查看电子邮件]
[v1]
2026年2月3日星期二 10:30:03 UTC（413 KB）
[v2]
2026年10月22日星期四 14:02:14 UTC（1,196 KB）
来源：arXiv cs.CL · arxiv.org