超越总体准确率：提示词优化中的逐题结果转移

查看 PDF HTML（实验性）

摘要：自动提示优化（APO）利用模型响应的反馈来自动改进提示。然而，其有效性通常通过总体得分来衡量，这无法揭示哪些问题变得正确、哪些先前正确的答案变得错误，或者改进是否扩展到未见的问题。我们引入了反思反馈驱动的提示优化（RFDPO），这是一种跟踪恢复（错误到正确）、退化（正确到错误）和变动（所有结果变化）的工具。RFDPO 使用此反馈来指导后续修订，并记录优化过程中的提示变化。我们在涵盖法律、知识、指令遵循、数学和隐私的五个基准上评估 RFDPO，使用 GPT-5 作为优化器，GPT-4o-mini 和 GPT-4.1 Mini 作为求解器。我们的结果表明，总体准确率可能掩盖了实质性变化：在九种配置中的五种中，变动至少是绝对净变化的五倍，而单个项目的净变化掩盖了多达 17 个变化的结果。平均验证增益为 7.9 个百分点，而在留出测试上为 5.2 个百分点。在 LegalBench-Hearsay 上的受控消融实验中，项目级反馈将变动减少了 40%（$p=0.024$），同时保持相似的净增益。这些发现促使我们在报告总体准确率的同时，也报告恢复、退化、变动以及在未见数据上的性能。

主题：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2610.19084 [cs.LG]
	（或 arXiv:2610.19084v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.19084 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Chinmoy Mitra [查看电子邮件]
[v1] 2026年10月13日星期二 19:15:06 UTC（1,369 KB）