arXiv cs.CL· Hoang Tran Vuong, Linh Ngo Van, Dang Nguyen, Thin Nguyen, Phuoc Nguyen, Mehrtash Harandi, Trung Le·· 2 天前AI 评分29
DiSPaT:基于 f-Divergence 自博弈微调的 LLM 表格异常检测框架
f-Divergence Self-Play for Tabular Anomaly Detection via Large Language Models
AI 导读
研究者提出 DiSPaT,一个基于 f-divergence 最小化的自博弈微调框架,用于提升大语言模型对表格数据中正常样本分布的刻画能力。该方法通过交替优化:当前策略生成合成样本作为伪异常,critic 判别器学习区分其与真实正常样本,该信号驱动策略更新逐步对齐真实正常数据分布。
正文 · AI 翻译
摘要:表格数据中的异常检测面临重大挑战,因为其特征类型异构——混合了数值、类别和文本属性,这使得学习有意义的正常性表示变得复杂。近期工作通过将表格行序列化为文本序列,将大语言模型(LLM)应用于该问题,但这些方法依赖一次性监督微调,为收紧模型对正常性的描述所提供的信号有限。我们提出 DiSPaT,一种自博弈微调框架,可增强模型对正常数据的理解。基于 f-散度最小化的理论基础,我们推导出一个紧致近似,将我们的训练目标与缩小真实正常数据和模型生成样本之间的分布差距联系起来。DiSPaT 通过交替优化运行:在每次迭代中,当前策略生成合成样本作为伪异常,而评论家判别器学习将这些样本与真实正常样本区分开来;该信号驱动策略更新,逐步使模型分布与真实正常数据分布对齐。在不同基准上的大量实验表明,DiSPaT 在表格异常检测方面始终优于先前的基于 LLM 的方法、深度学习方法以及经典的无监督检测器。
| 评论: | 已被 ICML 2026 接收。28 页,7 幅图 |
| 主题: | 机器学习(cs.LG);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.18370 [cs.LG] |
| (或 arXiv:2611.18370v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.18370 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Hoang Tran [查看邮箱]
[v1]
2026年11月13日星期五 16:16:03 UTC(102 KB)
来源:arXiv cs.CL · arxiv.org