arXiv cs.AI· Jos\'e Sanz-Dur\'an, David Sol\'is-Mart\'in·· 14 小时前AI 评分31
自监督预训练在 PHM 中的迁移效果与联邦化代价实测
Self-Supervised Pretraining for PHM: What Transfers, What Does Not, and What Federating It Costs
AI 导读
研究在 47 个公开 PHM 数据集上实测自监督预训练价值，其中 11 个数据集完全排除在预训练之外。
正文 · AI 翻译
摘要：自监督预训练已经催生出能力强大的时间序列基础模型，但其在故障预测与健康管理（PHM）中的价值尚未在泄漏受控的条件下得到衡量。我们在一个包含 47 个公开 PHM 数据集的语料库上进行了衡量，这些数据集被统一到单一张量契约，并进行了划分，使其中 11 个数据集完全从预训练中排除。迁移效果最终取决于任务：一个紧凑的通道独立 Transformer 编码器（801,808 个参数）以掩码 patch 预测进行预训练后，在 CWRU 上将故障分类宏 F1 从 0.350 提升到 0.812，在 HSG18 上从 0.569 提升到 0.951，但在 CMAPSS 的剩余使用寿命估计上，没有任何预训练检查点能可靠地优于从头训练的基线。我们在两种模式下进行预训练——集中式，以及按物理域分组为十个客户端的模拟跨孤岛联邦式——并保持架构、目标、源数据和优化预算固定。另外两项发现是否定性的。在相同预算下，集中式编码器在四组比较中的四组里以 15.5--20.2 个宏 F1 点领先，尽管该比较受到偏向集中式分支的学习率调度混杂影响，且每种模式仅基于一次预训练运行；在 RUL 上，两种模式无法区分。并且，内在 SSL 损失不是有效的选择标准：集中式编码器将联邦重建损失降低了一半以上，但在 RUL 上没有相应差距，而服务器动量扫描使下游验证宏 F1 变化最多达 0.29，同时 SSL 损失仅变化 0.021。迁移还取决于骨干网络学习率：同一个检查点在 CWRU 上可因单一数量级差异而得到 0.169 或 0.829 的宏 F1。我们发布了语料库流水线、协议和代码。
| 主题： | 人工智能（cs.AI）；计算工程、金融与科学（cs.CE）；机器学习（cs.LG）；性能（cs.PF） |
| 引用为： | arXiv:2610.35280 [cs.AI] |
| （或 arXiv:2610.35280v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35280 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：David Solís-Martín [查看电子邮件]
[v1]
2026年10月26日星期一 11:50:33 UTC（937 KB）
来源：arXiv cs.AI · arxiv.org