arXiv cs.AI· Javier Mar\'in·· 10 小时前AI 评分31
ZeroPoint：轻量级基于能量的决策模型
ZeroPoint: Lightweight Energy-Based Decision Model
AI 导读
ZeroPoint 是一种基于能量的决策模型（EBM），将“空答案”设为能量恒为零的模型状态，为所有候选选项提供显式参考，使“选择或弃权”成为普通推理的一部分，并用负对数似然损失训练。其能量函数是一个小型多语言编码器，对选项顺序不变。消融实验显示，收益主要来自包含“无选项适用”样本的训练；在相同编码器和数据下，固定零点区分有无可接受选项的效果略优于学习式拒绝类，并明显优于阈值化 softmax。
正文 · AI 翻译
摘要：基于能量的模型（EBM）为观测变量和预测变量的每个联合取值分配一个标量能量。在决策模型中，预测从每个输入所提供的一组有限选项中选取。于是推理简化为比较各选项的能量，训练则降低正确选项相对于其他选项的能量。一个完整的决策还必须考虑没有任何选项可接受的可能性。然而，标准 EBM 学到的能量只定义了相对兼容性：给所有能量加上同一个依赖于输入的量，预测结果、吉布斯分布以及通常的训练损失都保持不变。因此，模型没有学到的参考水平来判断是否有任何选项合适。我们提出 ZeroPoint，一种 EBM，它使空答案成为模型的一个状态，对每个输入其能量都为零。这个固定状态为所有列出选项的能量提供了显式参考，这些选项的非负深度衡量了它们相对于空答案与输入的兼容性。选项和空答案共享同一个分布，其中深度为零的选项获得零概率。因此，选择某个选项或弃权的决定是普通推理的一部分，用负对数似然损失训练，而不是单独的拒绝规则。能量函数是一个小型多语言编码器，它读取输入以及所有选项，并且对它们的顺序不变。消融实验表明，大部分收益来自用没有选项合适的示例进行训练。在相同的编码器和数据下，固定零点在区分有可接受选项和没有可接受选项的输入方面略优于学习到的拒绝类别，并明显优于阈值化的 softmax，同时不改变选项之间的选择。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.12992 [cs.AI] |
| （或 arXiv:2611.12992v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12992 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Javier Marin [查看电子邮件]
[v1]
2026年11月8日星期日 11:45:16 UTC（239 KB）
来源：arXiv cs.AI · arxiv.org