arXiv cs.CL· Aviral Dawar, Roshan Karanth, Vikram Goyal, Rakhee Kulshrestha, Sumanta Pasari, Dhruv Kumar·· 10 小时前AI 评分31
IndicDBBench：面向印度语言的多语言 Text-to-SQL 基准
IndicDBBench - Benchmarking Multilingual Text-to-SQL Capabilities in Indian Languages
AI 导读
研究者发布 IndicDBBench，一个覆盖英语和六种印度语言的多语言 Text-to-SQL 基准，含 20 个数据库、237 张表和 15,612 个任务，schema 取自 NDAP 与 IDP 真实开放数据。
正文 · AI 翻译
摘要：尽管大型语言模型（LLM）显著提升了 Text-to-SQL 的性能，但现有基准测试主要聚焦于西方语境，在真实的非西方应用中仍存在空白。我们推出 IndicDBBench，这是一个全面的多语言 Text-to-SQL 基准，旨在评估跨不同印度语系的跨语言语义解析。其底层模式源自真实世界的开放数据平台（NDAP 和 IDP），确保了现实的结构复杂性。IndicDBBench 包含 20 个数据库、共 237 张表。为了从非规范化的政府数据中构建复杂的关系结构，我们采用了一个三智能体流水线（Architect、Auditor、Refiner），实现了高关系密度（每个数据库 11.85 张表）以及高达六层的连接深度。我们生成了 15,612 个任务，涵盖七种语言：英语和六种印度语言，确保查询基于真实的数据库值，并且需要多表推理。我们评估了最先进的模型，包括 DeepSeek V3.2、MiniMax M2.7、Llama 3.3 和 Qwen3，覆盖七种语言变体。我们的结果揭示了从英语到印度语言执行准确率下降了 9.0 个百分点，暴露出一个“印度语言差距”，对于所测试的两个模型而言，即使提供了黄金表和字面值，这一差距依然存在，因为这种接地（grounding）在每种语言中带来的准确率提升幅度相似。数据集和代码已公开于 此 https URL
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；数据库（cs.DB） |
| 引用为： | arXiv:2604.13686 [cs.CL] |
| （或 arXiv:2604.13686v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.13686 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Roshan Karanth [查看电子邮件]
[v1]
2026年4月15日星期三 10:07:37 UTC（10,912 KB）
[v2]
2026年11月1日星期日 14:09:37 UTC（6,320 KB）
来源：arXiv cs.CL · arxiv.org