arXiv cs.CL· Arjun Rao, Nishant Gopinath·· 10 小时前AI 评分29
FERN:面向 Text-to-SQL 的跨基准表格检索,用冻结检索器与学习排序
FERN: Cross-Benchmark Table Retrieval for Text-to-SQL with Frozen Retrievers and Learned Ranking
AI 导读
FERN 用三个冻结检索器融合出 100 个候选表、每个候选最多 120 个特征,再由 LightGBM 排序器重排,全程不调用生成式 LLM。在未参与拟合的 Spider 上,其候选池在 15 表时召回达 98.0,排序器把 complete@5 从 83.9% 提升到 95.6%。BIRD dev 上单张 A100 每题中位延迟 208 ms,且无需调用托管模型。
正文 · AI 翻译
摘要:面向大型汇总目录的 Text-to-SQL 系统必须首先检索问题所需的表。我们在汇总的 BIRD、Spider 和 Fiben 目录上,与 RASL 已发表的表召回率进行了比较;RASL 使用 Claude 3.5 模型提取关键词并选择表。FERN(Feature-Engineered Ranking with No generative LLM,无生成式 LLM 的特征工程排序)则将三个冻结的检索器融合为 100 个候选,用最多 120 个特征描述每个候选,并使用在 BIRD 训练问题上一次性拟合的 LightGBM 排序器对它们重新排序。在未拟合的 Spider 上,仅其候选池在十五张表时就达到了 RASL 已发表的召回率(98.0),而排序器将前五名中包含所有金标表的问题占比(complete@5)从 83.9% 提升至 95.6%。在五张表时,FERN 的召回率在 Spider 上与 RASL 相差不到一个点(96.7 对 97.0),在带证据提示的 BIRD 上相差不到一个点(96.6 对 97.5),而在不带证据提示的 BIRD 上低 8.2 个点(89.3)。在 121 个真实 BEAVER 问题上,未进行 BEAVER 拟合时,其在十五张表时的召回率(82.1)介于两个经 BEAVER 训练的检索器之间(80.8、84.5),但其 complete@15 低于两者(49.6 对 54.5 和 62.0)。在 Fiben 上,其在十五张表时差距很大(54.2 对 69.2,问题集不同),尽管其在五十张表时的召回率在数值上接近 RASL 的仅问题检索结果(80.7 对 79.4)。在带证据的 BIRD dev 上,非检索特征使 complete@5 比仅使用检索信号提高了 7.7 个点。在 BIRD dev 上,单张 A100 上每个问题的中位延迟为 208 ms,且不调用托管模型。
| 评论: | 19 页 |
| 主题: | 信息检索(cs.IR);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.14477 [cs.IR] |
| (或 arXiv:2611.14477v1 [cs.IR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.14477 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Arjun Sathiyanarayana Rao [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 18:39:49 UTC(25 KB)
来源:arXiv cs.CL · arxiv.org