arXiv cs.CL· Sangdo Han, Moonsoo Kim·· 6 天前AI 评分34
提示词优化器会破坏未被评分的需求吗？一项预注册研究
Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study
AI 导读
预注册研究在 HotpotQA、SQuAD 2.0 和 IFEval 上测试 GEPA、MIPROv2 与 TextGrad，发现三者均产生回归，HotpotQA 上引用有效性净回归达 10.7 至 41.6 分，而 exact match 上升 21 至 34 分。
正文 · AI 翻译
摘要：提示优化器会重写提示以提高某一目标指标，但提示中还会陈述该指标未评分的要求，例如输出格式、引用或拒答。在一项预注册研究中，我们在 HotpotQA、SQuAD 2.0 和 IFEval 上运行 GEPA、MIPROv2 和 TextGrad，并通过确定性检查统计每个条目对未评分要求的违反情况。按照预注册标准，三个优化器都产生了性能回退，在 HotpotQA 上尤为显著，其中引用有效性的净回退达到 10.7 至 41.6 个百分点，而精确匹配上升了 21 至 34 个百分点。事后分解改变了这一解读。优化后的提示会在所需的 JSON 对象之前引出推理，而在全程使用的 200 token 输出上限下，13.9% 至 47.0% 的响应在任何答案出现之前就结束了。在可解析的输出中，净回退在零的 3 个百分点以内。在 1,024 token 上限下，提取失败消失，内容回退保持在 1 个百分点以下，精确匹配进一步上升。两个简单的门控未通过预注册标准。这一副作用比假设的更窄：优化后的提示更准确，却破坏了明确的输出契约，而宽松的目标指标并未显示出这一代价。
| 评论： | 8 页，7 张表。预注册研究 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.13287 [cs.CL] |
| （或 arXiv:2610.13287v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13287 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sangdo Han [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 09:38:51 UTC（31 KB）
来源：arXiv cs.CL · arxiv.org