arXiv cs.AI· Laura Laurenti, David Liu, Brian Kulis, Men-Andrin Meier, Christopher Johnson·· 13 小时前AI 评分24
地震基础模型只是"高级特征提取器"？九种 Mamba 模型设计给出答案
Are Seismic Foundation Models More Than Glorified Feature Extractors?
AI 导读
研究用共享同一 Mamba 编码器-解码器的九种模型设计、在 300 万窗口固定语料上训练，发现改变自监督目标只是重新分配下游能力而非提升能力，没有检查点能在所有任务上胜出。
正文 · AI 翻译
摘要：地震序列在两个分离的时间尺度上是随机的：任何单次地震的地震波传播持续数秒到数分钟，而地震本身则以稀疏、自激的发生过程到来，事件间隔从数秒到数月不等。在一个训练目标中同时兼顾这两个尺度是悬而未决的挑战。地震波形的基础模型（FM）转而从音频和视觉领域引入其学习目标，而在这些领域中，每个目标都由单个固定长度窗口计算得出。这样的窗口只包含波传播的一次实现（一条地震记录），从不包含决定地震何时发生的发生过程。我们开发了九种模型设计，它们共享一个 Mamba 编码器-解码器，在固定的 300 万个窗口语料库上训练，变化的是自监督目标、量化瓶颈和混合器；两项关键比较均在架构匹配的条件下进行，仅改变目标。每个检查点都以冻结方式在三个下游任务上评估。改变目标会重新分配下游能力，而非提升它，且没有任何检查点能在所有任务上胜出。向我们最强的分类器加入掩码压力会使其重新特化，而非成为通才：它获得了 6.9 个百分点的少样本 P 波拾取精确率，却损失了 9.6 个百分点的少样本分类准确率。按照从语言和视觉领域引入的标准，这些模型是特征提取器，而非基础模型。对容量、架构和领域接近度的对照实验无法解释为何能力是转移而非提升。与任务特定基线相比，其优势取决于具体情形：我们的检查点在分类和地面运动预测的少样本设置下优于它们，而在全量数据下则落后于它们。我们认为关键约束在于目标，而要解决这一问题，需要定义一个跨事件的学习目标——正是这一时间尺度使地震活动性从根本上具有随机性。
| 评论： | NEURIPS STODY WORKSHOP 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38003 [cs.LG] |
| （或 arXiv:2610.38003v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38003 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Laura Laurenti [查看邮箱]
[v1]
2026年10月27日 星期二 21:54:33 UTC（423 KB）
来源：arXiv cs.AI · arxiv.org