arXiv cs.AI· Fabian Spaeh, Sean Jaffe, Shandian Zhe, Bin Shen·· 3 天前AI 评分22
FEP：面向异构事件日志的事件预测基础模型
Foundation Models for Event Prediction Across Heterogeneous Event Logs
AI 导读
研究者提出基础事件预测器（FEP），一种可扩展的上下文学习架构，通过事件级非参数推理完成下一事件预测，并将整个预测过程表达为标准注意力操作，可用 FlashAttention 等现代内核并行加速。FEP 在 696 个真实事件数据集上预训练，并在 50 个未见数据集上评估，无需参数适配即可泛化到新事件系统，性能常接近各目标数据集单独训练的强模型，并显著优于现有基础模型基线。
正文 · AI 翻译
摘要：事件日志在现实世界的各个领域中无处不在，包括业务流程、制造工作流、医疗保健以及许多其他运营系统。然而，事件日志在事件语义、标签空间、交互模式和时间尺度上可能存在显著差异，这使得构建一个能够直接泛化到此前未见系统的单一基础模型变得困难。我们通过基础事件预测器（Foundation Event Predictor，FEP）来应对这一挑战，这是一种简单且可扩展的上下文架构，通过习得的事件级非参数推理来执行下一事件预测。因果自注意力将上下文和目标历史分别编码为键和查询表示，而观察到的下一上下文事件被编码为值。随后，交叉注意力对所有上下文转换中的下一事件结果执行习得的、相关性加权的聚合，从而使整个非参数预测过程能够表示为标准的注意力操作，并可通过 FlashAttention 等现代内核高效并行化。为促进跨系统泛化，我们引入了排列鲁棒的嵌入学习和随机固定嵌入，以将事件 ID 与持久语义解耦，并结合经验分位数变换和鲁棒归一化来处理多样的时间尺度。我们在涵盖异构事件系统的 696 个真实世界事件数据集上预训练 FEP，并在预训练期间未见过的 50 个留出数据集上对其进行评估。在这些数据集上，FEP 无需参数适配即可有效泛化到新的事件系统，其性能常常接近在每个目标数据集上单独训练的强模型，同时大幅优于现有的基础模型基线，尤其是在具有挑战性的预测任务上。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17503 [cs.LG] |
| （或使用 arXiv:2610.17503v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.17503 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Fabian Spaeh [查看电子邮件]
[v1]
2026年10月13日星期二 00:00:04 UTC（188 KB）
来源：arXiv cs.AI · arxiv.org