arXiv cs.AI· Sandarbh Agrawal, Rakshith Sathish, Ashwathi Nambiar·· 10 小时前AI 评分31
卫星预训练并非万能：EO 与通用基础模型在场景分类中的配对研究
Satellite Pretraining Is Not One Thing: A Matched-Pair Study of Generic and Earth-Observation Foundation Models for Scene Classification
AI 导读
一项配对研究比较了 5 组共享目标与架构的 Earth-observation（EO）与通用编码器（DINO/SatDINO、DINOv3/DINOv3-SAT、MAE/SatMAE、MAE/Scale-MAE、CLIP/RemoteCLIP），在 5 个 RGB 场景分类数据集上评测 14 个冻结编码器。
正文 · AI 翻译
摘要：地理空间基础模型在卫星和航空影像上进行预训练，但这样的编码器在少标签土地利用/土地覆盖制图任务中是否优于强大的通用编码器仍不清楚，因为此前的比较很少能隔离预训练数据的影响。我们在一个包含 14 个冻结编码器的基准上，研究了五对目标与架构相匹配的地球观测（EO）编码器和通用编码器（DINO/SatDINO、DINOv3/DINOv3-SAT、MAE/SatMAE、MAE/Scale-MAE、CLIP/RemoteCLIP），覆盖五个 RGB 场景分类数据集（0.06-30 米 GSD）。采用原生预处理，我们在六种低标签划分上评估 k-NN、线性探针和注意力探针以及图像检索，并使用逐图像配对显著性检验。EO 预训练并非普遍有益：在大多数数据集和指标上，它显著提升了三对（SatDINO、Scale-MAE、RemoteCLIP，后者仅在未见数据集上评估），并显著损害了两对（线性探针：DINOv3-SAT 最多下降 22.5 个点，SatMAE 最多下降 8.8 个点），即使是在同一 fMoW-RGB 影像上预训练的两个 MAE 也出现相反结果。这些效应对 patch-token 池化和注意力探针具有稳健性，集中在小尺寸人造物体上，并且在标签比例为 1-5% 时最大。跨编码器来看，冻结嵌入的轮廓系数几乎完美地预测了 k-NN 准确率和检索 mAP（在五个数据集中的四个上 Spearman $\rho \geq 0.96$）。因此，在卫星影像上预训练并不是可靠的选择标准；候选检查点必须在目标数据上进行验证。
| 评论： | 被 WACV 2027 第三届地理空间图像分析计算机视觉研讨会（GeoCV）接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13849 [cs.CV] |
| （或 arXiv:2611.13849v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13849 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rakshith Sathish [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 10:10:29 UTC（1,016 KB）
来源：arXiv cs.AI · arxiv.org