arXiv cs.CL· Yu Cai, Canxi Huang, Xiaoyu He·· 11 小时前AI 评分22
无投影进化策略实现连续提示词搜索
Projection-Free Evolution Strategies for Continuous Prompt Search
AI 导读
研究者提出一种基于进化策略的无投影连续提示词搜索方法，直接在完整提示词空间中优化，并用与内在维度匹配的适应机制，无需额外计算开销即可达到有竞争力的搜索效果。作者先通过实验证明随机投影无法充分捕捉提示词空间的低维结构。在 GLUE 的七项自然语言理解任务上，该方法显著优于现有基线，并引入基于置信度的正则化机制以缓解少样本场景的泛化差距。
正文 · AI 翻译
摘要：连续提示搜索为自然语言处理任务中的传统参数调优提供了一种计算高效的替代方案。然而，其实际效果可能因目标景观的黑盒性质和固有的高维性而受到显著阻碍。现有方法通常通过将搜索限制在随机投影的低维子空间来缓解这些挑战。然而，投影机制的有效性和潜在动机仍然不明确。在本文中，我们首先通过实证表明，尽管提示空间具有低维结构，但随机投影无法充分捕捉这一本质结构。受此发现启发，我们提出了一种基于进化策略的无投影提示搜索方法。通过在全提示空间中直接优化，并采用针对内在维度校准的适应机制，我们的方法在无需额外计算开销的情况下实现了有竞争力的搜索能力。此外，为弥合少样本场景中的泛化差距，我们引入了一种基于置信度的正则化机制，系统性地增强模型对目标语言化器的置信度。在 GLUE 基准的七个自然语言理解任务上的实验结果表明，我们提出的方法显著优于现有基线。
| 评论： | 19 页，包括附录 |
| 主题： | 计算与语言 (cs.CL)；神经与进化计算 (cs.NE) |
| 引用为： | arXiv:2603.13786 [cs.CL] |
| （或 arXiv:2603.13786v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2603.13786 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yu Cai [查看电子邮件]
[v1]
2026 年 3 月 14 日星期六 06:27:14 UTC（235 KB）
[v2]
2026 年 11 月 5 日星期四 03:40:14 UTC（198 KB）
来源：arXiv cs.CL · arxiv.org