arXiv cs.AI· Bo Dai, Yilun Du·· 10 小时前AI 评分31
从能量模型视角统一理解机器学习
An Energy-Based Perspective on Machine Learning
AI 导读
一篇教程提出用能量模型（EBM）作为统一视角串联机器学习的各个分支：任何 EBM 由能量函数、推理过程和学习方法三个选择确定，而最大似然、噪声对比估计、伪似然、score matching 与对抗训练等学习方法共享同一种对比结构。
正文 · AI 翻译
摘要：基于能量的模型（EBM）通过标量能量定义分布，$p_\theta(x)\propto\exp(-E_\theta(x))$，通常被作为众多模型家族之一来介绍。本教程有更宏大的目标：除了介绍 EBM 之外，还将它们作为统一的视角，连接机器学习的各个方面。任何 EBM 都由三个选择确定：能量，决定模型表示什么；推理过程，从能量中采样或优化能量；以及学习方法，将能量拟合到数据。我们首先展开这些组成部分，包括采样、变分推理，以及通过最大似然、噪声对比估计、伪似然、得分匹配和对抗训练进行学习，并表明这些学习方法共享同一种对比结构。然后我们表明，判别模型、生成模型（如 GAN、归一化流、扩散模型和自回归模型）、表示学习方法（如对比学习、word2vec、BERT、去噪自编码器和扩散表示）、使用 EBM 策略和世界模型的强化学习、逆强化学习与规划，以及使用验证器的推理时计算，都是 EBM，只是在这三个选择上有所不同，主要在于它们如何处理配分函数和采样。这一视角解释了现有方法，将它们组织到一个共同框架中，并通过替换一个组件而保留其他组件来提出新算法，其中能量的组合是在推理时组合已学习模型的一种有原则的方式。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.14383 [cs.AI] |
| （或 arXiv:2611.14383v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.14383 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bo Dai [查看邮箱]
[v1]
2026年11月10日星期二 17:37:22 UTC（3,275 KB）
来源：arXiv cs.AI · arxiv.org