arXiv cs.AI· Junyuan Liu, Hongyue Lin, Jiale Hong, Yi Zhao, Hai Zhao·· 12 小时前AI 评分22
BriLLM-MetaPred：融合表示与预测的自测量语言模型
BriLLM-MetaPred: A Representation-Prediction Unity Language Model with Adaptive Self-Measurement
AI 导读
BriLLM-MetaPred 是 MetaPred 机器学习框架的首个工程实现，该框架由一套 AGI 数学理论推导得出，用于语言建模。模型用单一持续演化的动力学状态同时充当上下文表示与预测读出状态，通过持续自测量降低有限深度不一致性，并提供定点形式的内生自监督信号。其预测性能与同等规模的 GPT 基线相当，为 MetaPred 框架的工程可行性提供了初步证据。
正文 · AI 翻译
摘要：我们提出 BriLLM-MetaPred，这是由 AGI 数学理论所确立的 MetaPred 机器学习框架的首个工程实现，并针对语言建模进行了实例化。该理论认为，MetaPred 作为通用认知的机器学习原语，既是必要的也是充分的。我们以这一理论结论作为设计前提，报告了该原语在语言建模中的一种实现。一个持续演化的单一动态状态同时充当上下文表示和用于读出预测的状态。对其自身状态的连续测量减少了有限深度不一致性，维持了内部一致性，并以不动点形式提供了一种内生的动态自监督信号。MetaPred 的单一动态状态内在地耦合了训练与推理。因此，MetaPred 在机器学习的几乎所有关键要素上都表现出对称性，这是所有机器学习范式空间上数学最优解的一种直观且可观测的性质。BriLLM-MetaPred 既不是另一种循环语言模型，也不是 BriLLM 的扩展。它在两项先前贡献之间架起了一座桥梁：AGI 理论所提供的 MetaPred 原语的构造与动机，以及 BriLLM（Zhao 等，2025）所提供的 SiFu 学习范式。后者的节点信号流设计使该原语能够在可用的软件和硬件加速器上运行。我们的 BriLLM-MetaPred 实现达到了与同等规模 GPT 基线相当的预测性能。这为 AGI 数学理论所确立的 MetaPred 框架的工程可行性提供了初步证据。MetaPred 是首个完全源自数学理论、而非通过人工设计组装并逐步改进的机器学习范式——或许也是最后一个这样的范式。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34018 [cs.LG] |
| （或 arXiv:2610.34018v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34018 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yi Zhao [查看邮箱]
[v1]
2026年10月25日星期日 03:08:17 UTC（3,948 KB）
来源：arXiv cs.AI · arxiv.org