arXiv cs.AI· Gwenol\'e Quellec·· 10 小时前AI 评分29
竞争性约束如何揭示表征学习的本质
What competing constraints reveal about representation learning
AI 导读
研究提出预测充分性、最小性、时间一致性、观测兼容性、无关变化不变性与结构约束六项互补属性,用于厘清表征应保留、丢弃和组织哪些信息。受控合成实验显示,看似有利的诊断指标与表征实际保留的信息存在偏差,且预测性能相当时潜坐标仍存在歧义。该分析为设计、比较和评估学习到的潜状态提供了依据,成果已被 Patterns(Cell Press)接收。
正文 · AI 翻译
摘要:从时序、多模态且部分观测的数据中学习潜在状态,需要决定信息表示应保留、丢弃和组织哪些信息。我认为六个互补属性有助于厘清这些决策:预测充分性、最小性、时间一致性、观测兼容性、 nuisance 不变性和结构约束。基于已有方法,我区分了期望的表示属性、用于鼓励这些属性的目标函数,以及用于评估这些属性的诊断方法,因为训练目标或评估指标都不能保证某一属性已经实现。受控合成实验考察了训练目标如何影响预测性能、nuisance 可解码性和潜在组织。结果揭示了看似有利的诊断指标与学习到的表示中所保留信息之间的差异,以及在等效预测性能下潜在坐标的歧义性,说明互补评估如何能够改善解释并指导设计选择。总之,这些分析为设计、比较和评估学习到的潜在状态提供了基础。
| 评论: | 已被 Patterns(Cell Press)接收发表。代码仓库:此 https URL |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2605.15995 [cs.LG] |
| (或 arXiv:2605.15995v5 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.15995 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Gwenole Quellec [查看电子邮件]
[v1]
2026年5月15日星期五 14:25:40 UTC(250 KB)
[v2]
2026年7月23日星期四 16:07:36 UTC(547 KB)
[v3]
2026年10月7日星期三 11:34:25 UTC(552 KB)
[v4]
2026年11月16日星期一 15:33:07 UTC(552 KB)
[v5]
2026年11月18日星期三 13:46:20 UTC(969 KB)
来源:arXiv cs.AI · arxiv.org