arXiv cs.CL· Yue Zhao, Xiyang Hu, Zuobin Xiong, Zhangyu Wang, Ruolin Li·· 9 天前AI 评分24
AI4Fire：大语言模型在野火任务上的评测
AI4Fire: Evaluating Large Language Models on Wildfire Tasks
AI 导读
AI4Fire 对 6 个核心模型在 5 项野火任务上做零样本评测，并对比"裸跑"与"有依据"两种设置，另扩展 29 个模型。加入只读 SQL 工具后，所有核心模型的数据库准确率从最高 16% 提升到至少 88%；但无核心模型能胜过直接重复当日人力配置这一简单规则，两个开放权重模型大多照抄历史火灾日的中位数。
正文 · AI 翻译
摘要：大型语言模型（LLM）正进入野火管理领域，而夸大的评估可能造成财产和生命损失。它们在野火任务上表现如何，有无 grounding？Bare 指模型仅接收任务输入。Grounded 指它还接收一项任务特定的附加信息：对于烟雾检测，是来自同一相机的无烟参考帧。AI4Fire 在五项野火任务上以零样本方式对六个核心模型分别进行 bare 和 grounded 运行；一项扫描又增加了 29 个。我们对火灾任务的文献检索发现了 138 项工作；没有一项结合了这份名单、任务覆盖范围以及配对的 bare 和 grounded 运行。我们报告三项发现。(1) 当附加信息携带答案时，grounding 帮助最大：一个只读 SQL 工具将每个核心模型的数据库准确率从至多 16% 提升到至少 88%。(2) 简单规则难以被超越：没有核心模型能胜过重复今天的 staffing count，而两个开放权重模型大多复制了类似早期火灾日的中位数，这是一个更差的预测。(3) 公开发布的数据带有隐患：一个 fire-danger 列完美地分开了 holdout，并且 67 个空中火灾帧带有从裁剪的热最大值读取的阴燃或无火标签。我们发布提示、响应、分数、代码和调查记录。
| 评论： | 51 页。代码：this https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.10946 [cs.CL] |
| （或 arXiv:2610.10946v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10946 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ruolin Li [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 21:52:18 UTC（1,322 KB）
来源：arXiv cs.CL · arxiv.org