arXiv cs.CL· Amirhossein Vahdat, Thierry Badard, Luc Lamontagne·· 6 天前AI 评分20
GeoFitBench-LLM：评估大语言模型地理空间数据需求获取能力的基准
GeoFitBench-LLM: A Benchmark for Assessing Large Language Models' Capabilities in Geospatial Data Requirements Elicitation for Geo-Analytic Tasks
AI 导读
GeoFitBench-LLM 基准用于评估 LLM 能否从自然语言地理分析请求中推断所需数据集、支撑资源与约束条件，围绕时空关系与语义锚定两个推理维度构建，真值需求以固定且不依赖提供商的 schema 编码。在最小提示下测试七个模型，GPT-5.4 Thinking 表现最佳，在 66.67% 的请求中完整识别出全部资源；随着推理需求增加，准确的适用性规格说明仍更困难。
正文 · AI 翻译
摘要：大型语言模型正日益成为 GeoAI 系统的核心，但其评估很少考虑地理空间数据需求的引出。这一遗漏至关重要，因为如果不首先确定必要的数据集和约束条件，面向检索的地理分析任务就无法得到可靠支持。本文提出 GeoFitBench-LLM，作为一个基准，用于评估 LLM 能否推断自然语言地理分析请求所需的数据集、支持资源和约束条件。该基准围绕两个推理维度构建：时空关系与语义基础，反映了地理空间信息检索及相关自然语言任务中长期存在的挑战。真实需求以固定的、与提供商无关的模式进行编码，以便对资源识别和属性级规范进行可复现的评估。在最小提示下对七个模型进行的实验表明，识别必要资源通常是可以实现的，其中 GPT-5.4 Thinking 取得了最佳结果，在 66.67% 的基准请求中恢复了完整的资源集。结果进一步表明，随着推理需求的增加，准确的适用性规范仍然更加困难。
| 评论： | 作为口头报告论文在 GeoAI 2026（比利时根特）上展示。也可在 Zenodo 上获取 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.12669 [cs.CL] |
| （或 arXiv:2610.12669v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12669 arXiv 颁发的 DOI 通过 DataCite（待注册） |
|
| 期刊 参考： | 第一届国际地理空间人工智能会议（GeoAI 2026）论文集 |
| 相关 DOI： | https://doi.org/10.5281/zenodo.20129011
链接到相关资源的 DOI |
提交历史
来自：Thierry Badard [查看电子邮件]
[v1]
2026年10月8日星期四 19:45:40 UTC（912 KB）
来源：arXiv cs.CL · arxiv.org