arXiv cs.AI· Haoyu Zhao, Zhengxu Yu, Zhiyuan He, Meng Fang, Rasul Tutunov, Haitham Bou-Ammar, Weilin Luo, Jun Wang·· 9 天前AI 评分62
Memento 3：通过反思式规则手册实现基于模型的递归自我改进
Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks
AI 导读
Memento 3 让冻结的 LLM 智能体通过外部记忆持续学习显式世界模型，用自然语言规则手册记录可修正的环境动态假设，并编译为可执行代码用于预测和规划。智能体通过观察、反思、规则修订、编译和验证的循环，用预测误差同时改进规则手册与代码，更新后的代码只有在 LLM 判断其忠实于规则手册且逐格回放能复现观测转移时才被接受。
正文 · AI 翻译
摘要：在不熟悉的环境中学习行动，要求智能体推断世界如何运作，并在新证据出现时修正这种理解。然而，有限的观察可能支持多个世界模型，这些模型能解释过去的交互，却对未见状态给出不同预测。我们推出 Memento 3，在 Memento 系列基础上，使冻结的 LLM 智能体能够通过外部记忆持续学习显式世界模型。该智能体维护一份自然语言规则手册作为持久语义记忆，记录关于环境动态的可修正假设，同时将未知方面保持为未指定。它把这份规则手册编译为可执行代码，用于预测和规划。通过观察、反思、规则修订、编译和验证的持续循环，智能体利用预测误差来改进规则手册及其代码。只有当 LLM 判断更新后的代码忠实于规则手册，并且逐单元精确回放能复现观察到的状态转移时，才会接受该更新。我们将这一过程作为通向递归自我改进（RSI）的基于模型的路径加以研究：智能体自主探索环境、修订其世界模型，并利用经过验证的更新来指导后续交互与学习，而底层 LLM 保持固定。一种群体扩展并行维护多个世界模型，共享交互证据，并利用它们的预测来指导探索。在 ARC-AGI-3 上，单模型智能体通关全部 25 个公开游戏的所有关卡，平均相对人类动作效率（RHAE）达到 100.0，且仅使用人类动作数量的 44%。在 Atari Pong 案例研究中，一个学习到的反馈控制器在三个不同开局的三次评估回合中均以 21:0 获胜，且无需进一步调用 LLM。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11794 [cs.AI] |
| （或 arXiv:2610.11794v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11794 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoyu Zhao [查看电子邮件]
[v1]
2026年10月8日星期四 12:06:54 UTC（2,034 KB）
来源：arXiv cs.AI · arxiv.org