arXiv cs.AI· Bashar Khoury, Shadi Omari, Assaf Schuster·· 14 小时前AI 评分26
学习共享什么：面向时间序列预测的专家特化方法
Learning What to Share: Expert Specialization for Time-Series Forecasting
AI 导读
研究通过 11 个数据集和 3 种骨干网络的受控对比发现，有信息量的通道分配比同等共享容量和随机分配更能提升预测效果，在冻结 Transformer 骨干上持久通道混合平均优于输入依赖路由。
正文 · AI 翻译
摘要：多变量预测的一个核心挑战是决定在通道之间共享什么，以及在何处进行专门化。专家混合模型提供了灵活的共享方式，但其预测收益中有多少来自增加的容量、多少来自专家分配，仍不清楚。通过在十一个数据集和三个骨干网络上进行受控比较，我们表明，信息丰富的通道分配在预测上优于容量匹配的共享和随机分配。在冻结的 transformer 骨干网络上，持久的通道特定混合平均而言优于输入依赖的路由。为了考察专门化何时有帮助以及帮助有多大，我们引入了 GalaxyTS，这是一个受控合成数据集，具有精确的共享和通道特定预测参考。它揭示了持久通道混合如何利用被短输入窗口掩盖的预测差异，并衡量了相对于容量匹配的共享校正所获得的增益。这些见解促成了持久闭式路由（PCR），这是一种即插即用方法，它在冻结的预训练预测器周围，交替进行通道特定混合权重的精确条件估计与低秩残差专家的基于梯度的训练。在四个预测视野上平均，PCR-K4 相对于三个冻结骨干网络实现了数据集平衡的均方误差降低 3.86-14.25%。在匹配比较中，PCR 平均而言优于竞争的专门化方法，同时所需的可训练参数显著更少。
| 评论： | 60 页，9 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.33822 [cs.LG] |
| （或 arXiv:2610.33822v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33822 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bashar Khoury [查看电子邮件]
[v1]
2026 年 10 月 24 日星期六 17:36:57 UTC（1,132 KB）
来源：arXiv cs.AI · arxiv.org