arXiv cs.AI· Nikola Milosevic, Nicol\'as Hinrichs, Nico Scherf·· 3 天前AI 评分26
主动推理可建模为凸马尔可夫决策过程
Active Inference as a Convex Markov Decision Process
AI 导读
研究将主动推理（AIF）的期望自由能（EFE）最小化重构为策略优化问题，证明闭环控制策略下的 EFE 最小化可表述为凸马尔可夫决策过程（MDP）。该视角揭示策略相关的奖励预测误差是沿时间反向传播 EFE 的自然梯度，而非沿层级向上传播。将世界模型学习与策略优化耦合后，主动推理呈现表演式强化学习（performative RL）的结构。
正文 · AI 翻译
摘要：主动推理（AIF）将自适应行为视为期望自由能（EFE）的最小化，在单一变分原理中结合了认知目标与实用目标。我们将 AIF 表述为策略优化，并表明对于闭环控制策略，EFE 最小化可以表述为凸马尔可夫决策过程（MDP）。这一视角揭示出，依赖于策略的奖励预测误差将期望自由能的自然梯度沿时间向后传播，而非沿层级向上传播。最后，我们表明将世界模型学习与策略优化耦合，使主动推理具有表演性强化学习的结构。这些工作共同将 EFE 最小化置于现代强化学习与优化理论之中，并开辟了通向主动推理有原则算法的道路。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2607.20152 [cs.LG] |
| （或 arXiv:2607.20152v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.20152 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nikola Milosevic [查看电子邮件]
[v1]
2026年7月22日星期三 13:52:40 UTC（308 KB）
[v2]
2026年9月21日星期一 10:39:39 UTC（314 KB）
[v3]
2026年10月13日星期二 13:55:26 UTC（309 KB）
来源：arXiv cs.AI · arxiv.org