arXiv cs.AI· Aliullah, Julian Oelhaf, Edouard Fouch\'e, Jessica Deuschel, Christian Bergler, Andreas Maier, Siming Bayer·· 11 小时前AI 评分20
时间序列基础模型参数高效适配用于电力负荷预测:MOIRAI 与 Chronos-2 上的 LoRA 对比研究
Parameter-Efficient Adaptation of Time Series Foundation Models for Electrical Load Forecasting
AI 导读
研究对比了预训练推理、全量微调与 LoRA 在四个电力负荷聚合层级上的预测精度与适配效率,主模型为 MOIRAI 1.0 Large,并用 Chronos-2 验证结论可迁移性。
正文 · AI 翻译
摘要:准确的电力负荷预测可支撑国家、地区、城市和建筑层面的电力系统运行,但针对特定目标重复开发模型成本高昂。时间序列基础模型(TSFM)提供了可复用的预训练骨干网络,不过多领域预训练可能无法充分捕捉负荷特有的特征。本文在四种电力负荷聚合层级上,比较了预训练推理、全量微调与低秩适配(LoRA)在预测准确性和适配效率方面的表现。MOIRAI 1.0 Large 作为主要骨干模型,Chronos-2 用于评估这些发现能否跨模型家族迁移。评估涵盖分布内(ID)和分布外(OOD)两种设置,并考察紧凑适配能否在强预训练检查点之上带来一致的增益。在所评估的各聚合层级上,预训练基础模型均优于所实现的季节性朴素基线和 XGBoost 基线。在 MOIRAI Large 上,秩为 16 的 LoRA 平均将归一化平均绝对误差(NMAE)降低 7.5%,同时仅更新 314.6 万个参数,约占模型的 1%,并保留了全量微调的大部分改进。Chronos-2 的预训练 NMAE 低于 MOIRAI,但从适配中获益较少。OOD 结果表明,适配收益因目标而异,其中局部区域序列和若干建筑的增益最为明显。总体而言,当适配能在强预训练检查点之上带来有意义的增益时,LoRA 提供了有利的精度—效率权衡。
| 评论: | 被接收在 IEEE 电力与能源学生峰会(PESS 2026,德国卡尔斯鲁厄)上展示。6 页,4 幅图,1 张表 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2610.28200 [cs.LG] |
| (或 arXiv:2610.28200v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.28200 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Aliullah Aliullah [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 13:40:48 UTC(89 KB)
来源:arXiv cs.AI · arxiv.org