arXiv cs.AI· Fadillah Adamsyah Maani, Numan Saeed, Jiaqi Ma, Dat Tien Nguyen, Youssef Wehbe, Duncan Watson-Parris, Salman Khan·· 3 天前AI 评分22
EarthAlign：学习地球系统数据的语言对齐表示
EarthAlign: Learning Language-Aligned Representations of Earth System Data
AI 导读
研究团队发布 EarthAlign 数据集与 MeteoLIP 双编码器框架，用于学习气象与语言的对齐表示。EarthAlign 覆盖 2000-2024 年，整合 10 个专家整理的自然事件与灾害数据源及气候学常态天气样本，每个样本含时空信息和四种对齐 63 变量 ERA5 气象数据的描述风格。
正文 · AI 翻译
摘要：解读地球系统状况是理解环境风险、为天气和气候敏感行业提供决策依据的核心。现有的多模态天气系统主要面向特定任务的预测、生成或问答，而地球系统数据与语言之间的通用对齐由于缺乏基于气象条件的多样化语言监督而仍未得到充分探索。为填补这一空白，我们推出了 EarthAlign，这是一个大规模数据集，地理覆盖范围广泛，时间跨度为 2000 至 2024 年，将 10 个由专家整理的自然事件和灾害数据源与源自气候学的正常天气样本相结合。每个样本都包含时间和地理空间信息，以及与 63 变量 ERA5 气象数据对齐的四种接地描述风格。基于 EarthAlign，我们推出了 MeteoLIP，这是一个用于学习对齐的气象-语言表示的双编码器框架。MeteoLIP 集成了 MetTok，后者使用以地理位置和时间为条件的查询，将特定变量的图块嵌入聚合为紧凑的气象标记序列。为全面评估地球系统多模态表示，我们引入了三个下游任务：跨模态检索、天气状况分类和物理变量估计。我们的实验表明，MeteoLIP 在这些任务上均优于相应的 CLIP 和 SigLIP 基线。进一步的分析凸显了气象输入、时间和地理空间条件以及多风格监督对气象-语言对齐的重要性。因此，EarthAlign 和 MeteoLIP 为学习和评估地球系统数据的语言对齐表示奠定了基础。我们的代码、数据集和权重已在 此 https URL 公开提供。
| 学科： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；机器学习 (cs.LG) |
| 引用为： | arXiv:2610.14624 [cs.CV] |
| （或 arXiv:2610.14624v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14624 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Fadillah Maani [查看电子邮件]
[v1]
2026年10月10日星期六 06:14:12 UTC（10,421 KB）
来源：arXiv cs.AI · arxiv.org