arXiv cs.AI· Mosh Levy, Aly Lidayan, Yoav Goldberg·· 11 小时前AI 评分31
JEPA 特征选择新解：预测闭合（Predictive Closure）的集合级刻画
Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection
AI 导读
研究者提出“预测闭合”（predictive closure）刻画，从特征集合层面重新解释 JEPA 的特征选择：选择取决于特征集合的性质，而非单个特征的可预测性。
正文 · AI 翻译
摘要：在联合嵌入预测架构（JEPA）中，编码器和预测器一起训练，以产生一种表示，使预测下一次观测的表示时的误差最小化。由于当前观测和下一次观测的表示都是学习得到的，因此尚不清楚它们会包含哪些特征。早期的刻画以各个特征自身的可预测性来描述 JEPA 所选择的特征，这引发了担忧：像红绿灯这样不可预测的特征将不会被编码进表示中。然而，预测误差也受特征之间关系的影响，例如，灯的颜色有助于预测交通是否会停止。我们提出了预测闭包刻画，它考虑了这些关系。基于对 JEPA 训练目标的重构，我们表明选择取决于特征集合的性质。当特征独立演化时，这一观点与早期工作一致，但当它们不独立演化时，则做出新的预测，例如像红绿灯这样的特征仍可能被保留。我们在受控实验中检验了这一刻画，结果表明，当不可预测的特征有助于预测其他特征时，它们可以得到更好的表示；并且改变一个特征的预测关系会影响其他特征的表示质量。我们还展示了对引导特征选择的启示：用一个辅助目标针对某个特征，或将其作为辅助信息提供给预测器，可以增强另一个特征的表示，而该特征的未来值有助于预测，因此引导可以是间接的。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27364 [cs.LG] |
| （或使用 arXiv:2610.27364v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.27364 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mosh Levy [查看邮箱]
[v1]
2026年10月19日星期一 22:43:59 UTC（7,499 KB）
来源：arXiv cs.AI · arxiv.org