arXiv cs.AI· Matteo Rufolo, Dario Piga, Filippo Pura, Marco Forgione·· 6 天前AI 评分22
面向系统辨识的上下文学习：概率化建模、长序列处理与基准验证
In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation
AI 导读
该研究将上下文学习用于系统辨识，提出统一的概率化元辨识架构，结合 Transformer 编码器-解码器与长训练序列处理机制，实现长时程校准预测。预训练元模型还可作为不确定性感知的合成数据生成器，在真实数据稀缺时为正则化参数模型提供任务特定数据。在标准非线性系统辨识基准及分布外场景中，该方法精度与 SOTA 方法相当，并展现出强泛化能力，仅靠输入适配即可应对显著分布偏移。
正文 · AI 翻译
摘要：传统的系统辨识通常包括两个步骤：首先，处理训练数据以估计目标系统的模型；然后，使用该模型对新输入查询进行输出预测。相比之下，近期的上下文学习方法学习一个元模型，以零样本方式直接将训练数据和查询输入映射到输出，绕过了显式的模型估计。这种方法利用在大量合成生成数据上离线训练的元模型，来模拟系统辨识算法的行为。在这项工作中，我们从三个方向推进了这一用于系统辨识的元学习框架。第一，我们开发了一种统一的概率元辨识架构，它将基于 Transformer 的编码器-解码器与用于处理长训练序列的定制机制相结合，能够对长时域进行校准预测。第二，我们展示了预训练的元模型如何充当不确定性感知的合成数据生成器，用于经典系统辨识，在真实数据稀缺时为参数模型提供任务特定的数据以进行正则化。第三，我们在标准非线性系统辨识基准以及一个具有挑战性的分布外场景上系统性地评估了该框架，证明其与最先进方法相比具有有竞争力的准确性和强大的泛化能力，包括仅需输入自适应就足以应对显著分布偏移的情况。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；系统与控制（eess.SY） |
| 引用为： | arXiv:2610.13411 [cs.LG] |
| （或使用 arXiv:2610.13411v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.13411 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Matteo Rufolo [查看电子邮件]
[v1]
2026年10月9日星期五 11:21:14 UTC（2,385 KB）
来源：arXiv cs.AI · arxiv.org