arXiv cs.AI· Leo Betthauser, Yingqi Liu, Uday Shah, Jishang Wei, Sainyam Galhotra, Liang Gou, Vedant Dharnidharka, Hao Yang·· 13 小时前AI 评分36
Lev-3B：面向紧凑概率日志决策模型的数据配方
Lev-3B: A Data Recipe for Compact Probabilistic Log Decision Models
AI 导读
Lev-3B 是基于 Granite-4.1-3B-Base 构建的开放 3B 参数决策模型，采用共享指针读出，并公开其训练配方。训练分两阶段：先用无日志数据学习有界自然语言决策，再在日志阶段将目标任务与覆盖 35 个辅助任务的通用日志数据混合，该配方在训练外来源上的迁移效果明显优于仅用日志数据训练。
正文 · AI 翻译
摘要：许多日志分析任务涉及在已知选项中进行选择，例如检测异常会话或识别攻击技术，并且受益于经过校准的概率。我们提出 Lev-3B，这是一个基于 Granite-4.1-3B-Base 构建的开放 3B 参数决策模型，带有共享指针读出，并研究其训练配方。该配方有两个关键部分。首先，训练遵循课程式安排：模型在接触任何日志之前，先学习有界的自然语言决策，且不使用日志数据。其次，日志阶段将目标任务与涵盖 35 个辅助任务的通用日志数据混合，这些辅助任务与两个评估任务均无关。我们在训练中见过的来源以及被排除在训练、校准和模型选择之外的来源上评估同一个共享检查点。两阶段配方比仅用日志数据训练具有显著更好的迁移效果。加入通用日志数据可提升在被排除来源上的性能。Lev-3B 以仅为其一小部分的服务成本，在异常检测上优于经提示的前沿模型，包括在一个被排除的日志系统上，但在攻击技术分类上落后于它们。其概率在熟悉的来源上校准良好，但在被排除的日志系统上，它会自信地漏掉异常。我们发布了检查点、配方、数据清单和预测级工件。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38915 [cs.LG] |
| （或 arXiv:2610.38915v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38915 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sainyam Galhotra [查看电子邮件]
[v1]
2026年10月28日星期三 21:06:44 UTC（58 KB）
来源：arXiv cs.AI · arxiv.org