arXiv cs.AI· Sungjun Cho, Changho Shin, Suenggwan Jo, Xinya Yan, Shourjo Aditya Chaudhuri, Frederic Sala·· 13 小时前AI 评分31
LBS：LLM 与贝叶斯状态空间模型结合的多模态时间序列预测框架
LLM-Integrated Bayesian State Space Models for Multimodal Time-Series Forecasting
AI 导读
研究者提出 LLM 集成贝叶斯状态空间模型 LBS，将捕捉潜在状态时序动态的 SSM 主干与预训练 LLM 结合，由 LLM 编码文本输入做后验状态估计并解码与潜在轨迹一致的文本预测。该框架支持灵活的回顾与预测窗口，并提供有原则的不确定性量化。在 TextTimeCorpus 基准上，LBS 较此前 SOTA 提升 13.20%，同时为每次预测生成人类可读的摘要。
正文 · AI 翻译
摘要：现实世界中的预测需要将结构化时间序列数据与非结构化文本信息相结合，但现有方法在架构上受限于固定的输入/输出窗口，且无法建模或量化不确定性。我们通过引入 LLM 集成的贝叶斯状态空间模型（LBS）来应对这一挑战，这是一种用于多模态时间预测的新型概率框架。概括而言，LBS 由两个组件构成：(1) 状态空间模型（SSM）主干，用于捕捉潜在状态的时间动态，数值观测和文本观测均由这些潜在状态生成；(2) 预训练大语言模型（LLM），其经过适配以编码文本输入用于后验状态估计，并解码与潜在轨迹一致的文本预测。得益于 SSM 对动力系统建模的天然归纳偏置，该设计支持灵活的回溯与预测窗口、有原则的不确定性量化，并提升了时间泛化能力。在 TextTimeCorpus 基准上的实验表明，LBS 较此前的最先进方法提升了 13.20%，同时为每次预测提供人类可读的摘要。我们的工作是首个将 LLM 与 SSM 统一用于数值与文本联合预测的研究，为多模态时间推理提供了新的基础。
| 注释： | 15 页，8 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2510.20952 [cs.LG] |
| （或 arXiv:2510.20952v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.20952 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Sungjun Cho [查看邮箱]
[v1]
2025 年 10 月 23 日星期四 19:28:26 UTC（278 KB）
来源：arXiv cs.AI · arxiv.org