arXiv cs.CL· Mingyu Lu, Timothy Ossowski, Tristan Naumann, Hoifung Poon, Peniel Argaw·· 3 天前AI 评分27
HERO：用执行证据做测试时精炼与提示词优化的程序生成方法
HERO: Harnessing Evidence for Test-time Refinement and Prompt Optimization in Program Generation
AI 导读
HERO 将离线与测试时 harness 优化结合，用于 text-to-SQL、text-to-Cypher 和 text-to-Python 等程序生成任务。
正文 · AI 翻译
摘要：Harness 优化通过改进可复用的提示词和脚手架来提升 LLM，但仍需针对文本到 SQL、文本到 Python 等程序生成任务进一步适配。现有方法通常依赖 LLM 反思器来提出 harness 更新，这虽能修复已观察到的失败，但也会破坏此前正确的行为。文本到代码任务提供了一种缓解该问题的自然途径：我们可以执行生成的输出，从而直接评估和验证所提出更新的效果。基于这一信号，我们提出 \textsc{HERO}（\textbf{H}arnessing \textbf{E}vidence for \textbf{R}efinement and \textbf{O}ptimization），它结合了离线与测试时的 harness 优化。在第一阶段，\method{} 从经执行验证的成功与失败中学习可复用的提示词更新，并在采纳前验证候选修订。在测试时，我们将生成的代码视为实例特定的 harness，并利用执行反馈对其进行改进。在四个 SQL、Cypher 和 Python 基准上，\method{} 取得了最佳的离线性能，将 pass@1 较初始提示词提升了 \(7.6\) 分，而测试时改进又额外带来 \(2.0\) 分并提升了执行效率。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19184 [cs.CL] |
| （或 arXiv:2610.19184v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19184 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：MingYu Lu [查看邮箱]
[v1]
2026年10月13日星期二 20:49:08 UTC（636 KB）
来源：arXiv cs.CL · arxiv.org