arXiv cs.AI· Daniel Strauss, Nikolaos Sotirakis, Zhenshan Bing, Alois Knoll·· 13 小时前AI 评分26
用信息价值统一解决强化学习中的廉价检索与观测信用分配
Cheap Retrieval and Observation Credit Assignment from One Quantity: The Value of Information
AI 导读
研究提出用“信息价值”这一单一量同时解决强化学习记忆中的两个问题：检索时无需对整个存储打分，且检索收益的信用可归因到具体观测。该方法借助学习到的世界模型从存档 rollout 中估计信息价值，在观测处读取可给出获取动作最优值的可证下界并抬高其 TD 目标，在决策处读取则定义最优检索集合。一个待用该信号训练的试点检索系统已能以更少上下文完成记忆任务。
正文 · AI 翻译
摘要：强化学习中的记忆带来两个问题。注意力通过为整个存储打分来找到相关条目，这对受延迟和能量限制的机器人来说代价高昂。当检索到的记忆带来回报时，获取它的功劳必须跨越整个序列。我们认为两者都由同一个量——信息价值——所支配，并提出用学习到的世界模型从存档的轨迹中估计它。我们得出，当在观测处读取时，它给出获取动作最优值的一个可证明下界，这为其 TD 目标设定了下限，并将该下限归因于带来它的观测。当在决策处读取时，它定义了最优检索集。一个试点检索系统将用该信号进行训练和改进，以缩减的上下文解决记忆任务。
| 评论： | 11 页，1 幅图。已被 CoRL 2026 机器人基础模型记忆研讨会接收（此 https URL） |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | I.2.6；I.2.8 |
| 引用为： | arXiv:2610.40030 [cs.AI] |
| （或 arXiv:2610.40030v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.40030 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Daniel Strauß [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 13:36:06 UTC（26 KB）
来源：arXiv cs.AI · arxiv.org