arXiv cs.CL· Tao Liu, Tao Feng, Xiangheng Li, Jinwang Song, Yifan Li, Xiaoqing Cheng, Dixuan Zhang, Siquan Li, Lin Lan, Hongying Zan, Kunli Zhang, Chao Wu·· 9 天前AI 评分25
SERL-SQL：面向 Text-to-SQL 强化智能体学习的选择性事后蒸馏
SERL-SQL: Selective Hindsight Distillation for Text-to-SQL Reinforcement Agentic Learning
AI 导读
SERL-SQL 是一个面向多轮 Text-to-SQL 智能体的选择性执行反馈强化学习框架，通过训练专用教师模型结合执行反馈重打分学生动作，将师生似然差转化为有界掩码权重，仅对 SQL 与工具动作 token 重加权 GRPO 优势。
正文 · AI 翻译
作者：Tao Liu、Tao Feng、Xiangheng Li、Jinwang Song、Yifan Li、Xiaoqing Cheng、Dixuan Zhang、Siquan Li、Lin Lan、Hongying Zan、Kunli Zhang、Chao Wu
摘要：近期的 Text-to-SQL 系统越来越依赖多轮交互、执行反馈和强化学习。然而，大多数现有方法仅将执行正确性用作轨迹级奖励，这为识别导致成功或失败的 SQL 决策提供的指导有限。我们提出 SERL-SQL，一种面向多轮 Text-to-SQL 智能体的选择性执行接地强化学习框架。SERL-SQL 采样同策略 SQL 交互轨迹，并使用仅在训练时使用的教师模型结合执行反馈对学生动作重新打分。由此得到的教师—学生似然差被转换为有界、带掩码的权重，仅在 SQL 和工具动作 token 上重新加权 GRPO 优势。这样，任务奖励保持优化方向，而执行后见之明提供局部化的信用分配。在 BIRD、Spider 和跨域基准上的实验表明，SERL-SQL 取得了有竞争力的性能，在 BIRD-Dev 上达到 76.56% 的执行准确率，在 Spider-Test 上达到 89.92%。此外，我们基于奖励的选择策略接近 oracle Best-of-N 上界，并持续优于基于一致性的选择，表明 SERL-SQL 能产生高质量候选，且可被轻量级执行接地奖励可靠识别。我们的代码将在 this https URL 发布。
| Comments: | 18 pages,19 figures, Underreview |
| Subjects: | 计算与语言 (cs.CL) |
| 引用格式： | arXiv:2608.00485 [cs.CL] |
| （或 arXiv:2608.00485v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.00485 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Tao Liu [查看邮箱]
[v1]
2026年8月1日 星期六 07:24:12 UTC (916 KB)
[v2]
2026年8月4日 星期二 08:32:19 UTC (1,689 KB)
[v3]
2026年9月27日 星期日 10:15:08 UTC (2,369 KB)
[v4]
2026年10月8日 星期四 03:05:40 UTC (1,596 KB)
来源：arXiv cs.CL · arxiv.org