arXiv cs.AI· Claire Schlesinger, Wolfgang Gatterbauer, Robin Walters·· 3 天前AI 评分22
如何度量学习到的等变性：一种信息论方法
Measuring Learned Equivariance: An Information Theoretic Approach
AI 导读
研究提出用归一化互信息（NMI）检验网络是否真正学到数据增强中的对称性：在有限离散设定下，等变性要求原始与变换输入的表示能相互完全确定。针对高维激活，采用 centered kernel alignment（CKA）作为可扩展检验，对正交特征变换有精确保证。跨架构与任务实验显示，数据增强通常提升变换一致性，表明可直接从表示中探测学习到的等变性。
正文 · AI 翻译
摘要：通过数据增强学习对称性为架构等变性提供了一种替代方案，但并不能保证网络遵守这些对称性。度量学习到的等变性对于中间表示尤其困难，因为其群作用并未被指定。在有限离散设定下，我们表明等变性要求原始输入和变换后输入的表示能够精确地相互确定，从而产生一个基于归一化互信息（NMI）的检验。对于高维激活，我们使用中心核对齐（CKA）作为可扩展的检验，并对正交特征变换给出精确保证。在不同架构和任务中，数据增强通常会提高变换一致性，表明学习到的等变性可以直接从表示中探测，而无需恢复关联它们的隐藏变换规则。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；信息论（cs.IT） |
| 引用为： | arXiv:2610.17269 [cs.LG] |
| （或 arXiv:2610.17269v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17269 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Claire Schlesinger [查看电子邮件]
[v1]
2026年10月12日星期一 18:24:19 UTC（2,815 KB）
来源：arXiv cs.AI · arxiv.org