arXiv cs.AI· Christopher J. Hazard, Michael Resnick, Jacob Beel, Jack Xia, Cade Mack, Dominic Glennie, Matthew Fulp, David Maze, Andrew Bassett, Martin Koistinen·· 6 天前AI 评分23
一种信息力学理论：通过测量不确定性实现泛化（学习即测量）
A Theory of the Mechanics of Information: Generalization Through Measurement of Uncertainty (Learning is Measuring)
AI 导读
研究者提出一种"无模型"的基于实例学习框架，用信息论中的惊奇度（surprisal）直接分析原始数据并做推理，无需建模数据分布，并支持直接编辑和删除训练数据。该方法可泛化到生成式推理、因果发现、异常检测和时间序列预测等任务，在异常检测和部分监督任务上达到 SOTA，并能处理缺失数据。论文称其数学基础构建了一套信息的"物理学"，为可扩展且人类可理解的机器学习提供了可能。
正文 · AI 翻译
摘要：传统机器学习依赖显式模型和领域假设，往往限制了灵活性和可解释性。我们提出了一种基于实例学习的“无模型”框架，利用惊奇度（信息论不确定性）直接分析原始数据并从中进行推断，从而无需分布建模、减少偏差，并支持高效更新，包括直接编辑和删除训练数据。通过不确定性量化相关性，该方法能够跨任务实现可泛化的推断，包括生成式推断、因果发现、异常检测和时间序列预测。我们的方法强调可追溯性、可解释性和数据驱动的决策，为机器学习提供了一个统一的、人类可理解的框架，可适用于几乎所有机器学习任务，在所有任务上均达到胜任水平，并在异常检测和部分监督任务上达到最先进性能。其数学基础创建了一种信息的“物理学”，使这些技术能够有效应用于各种复杂数据类型，包括缺失数据。我们的结果表明，这可能是一个可行的基础，用于构建可扩展的机器学习和人工智能，同时保持人类对底层机制的可理解性。
| 评论： | 119 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；统计理论（math.ST）；机器学习（stat.ML） |
| 引用为： | arXiv:2510.22809 [cs.LG] |
| （或使用 arXiv:2510.22809v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2510.22809 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Christopher Hazard [查看电子邮件]
[v1]
2025年10月26日星期日 19:45:25 UTC（2,789 KB）
[v2]
2026年10月8日星期四 19:07:29 UTC（2,781 KB）
来源：arXiv cs.AI · arxiv.org