arXiv cs.AI· Aaron J. Gutknecht, Fernando E. Rosas, David A. Ehrlich, Abdullah Makkeh, Pedro A. M. Mediano, Michael Wibral·· 1 天前AI 评分26
Shannon observables：可扩展的信息分解新框架
Shannon observables: A scalable approach to information decomposition
AI 导读
研究者提出“Shannon observables”框架，这类量能刻画高阶信息处理的关键性质，却可直接由 Shannon 熵计算并高效扩展到大系统，从而消解多变量信息论指标的长期解释歧义。该框架已用于分析纠错码在不同信道噪声下的编码区间、深度分类器与卷积自编码器逐层及训练过程中的信息处理特征，以及人脑 MEG 记录，并生成揭示定向信息传递区域结构的皮层图谱。
正文 · AI 翻译
摘要：分布式系统（如生物神经网络和人工神经网络）通过涉及多个子系统的复杂交互来处理信息，从而在系统内部形成具有跨尺度不同特性的高阶信息结构。由于难以定义合适的多元度量并确保其可扩展至大型系统，研究这些系统如何处理信息仍然具有挑战性。为应对这些挑战，我们引入了一个基于我们称之为“香农可观测量”的新框架：这些量能够捕捉高阶信息处理的基本特性，同时可直接由香农熵计算，并能高效扩展至大型系统。我们的理论结果表明，香农可观测量可用于解决长期以来关于广泛使用的多元信息论度量解释的模糊之处。在实践方面，我们展示了该框架在多个领域的通用性。对纠错码的分析研究表明，随着信道噪声变化，香农可观测量勾勒出不同的编码区间；对深度分类器和卷积自编码器的分析揭示了跨层和训练过程中的特征性信息处理特征；将该框架应用于人脑脑磁图记录，得到了一个皮层图谱，揭示了定向信息传递中显著的区域结构。总体而言，我们的框架解决了分析高阶信息现象中的根本性局限，并为理论发展和实证分析提供了广泛机会。
| 评论： | 28 页，8 幅图，3 张表。v2：大幅修订并更改标题（原为“香农不变量”）；新增对纠错码的分析、扩展至定向信息流并附基于 MEG 记录的皮层图谱、单神经元损伤与丢弃实验，以及将脆弱性与神经元移除后性能损失联系起来的界限 |
| 主题： | 信息论（cs.IT）；人工智能（cs.AI）；机器学习（cs.LG）；适应与自组织系统（nlin.AO）；数据分析、统计与概率（physics.data-an） |
| 引用为： | arXiv:2504.15779 [cs.IT] |
| （或 arXiv:2504.15779v2 [cs.IT] 为此版本） | |
| https://doi.org/10.48550/arXiv.2504.15779 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aaron Julian Gutknecht [查看邮箱]
[v1]
2025 年 4 月 22 日星期二 10:41:38 UTC（532 KB）
[v2]
2026 年 11 月 11 日星期三 12:35:42 UTC（1,644 KB）
来源：arXiv cs.AI · arxiv.org