arXiv cs.AI· Adrian Orenstein, Jessica Jiajing Chen, Gwyneth Anne Delos Santos, Bayley Sapara, Michael Bowling·· 3 天前AI 评分29
让智能体学会推理自身计算开销：同等训练预算下 75% 游戏表现更优、算力省三倍
Toward Agents That Reason About Their Computation
AI 导读
研究让强化学习智能体感知自身计算成本并自主控制何时使用算力，在 Arcade Learning Environment 上，同等训练算力预算下这类智能体在 75% 的游戏中表现更好，平均算力消耗降至三分之一。论文分析了各游戏中的效率来源，已被 Reinforcement Learning Conference（RLC）2026 接收。
正文 · AI 翻译
摘要：尽管强化学习智能体在许多复杂任务中能够达到超越人类的表现，但它们通常不会随着能力的提升而变得更计算高效。相比之下，人类在任务上越来越熟练时，所需的认知努力会逐渐减少。如果智能体能够在学习过程中对其计算进行推理，它们是否也能同样减少计算足迹？如果可以，我们就能拥有更节能的智能体，或者为规划等其他进程释放计算周期。在本文中，我们尝试向智能体展示其计算成本，并赋予它们控制何时使用计算的能力。我们在 Arcade Learning Environment 上进行实验，结果表明，在相同的训练计算预算下，对自身计算进行推理的智能体在 75% 的游戏上表现更好。此外，这些智能体平均使用的计算量减少了三倍。我们分析了各个游戏，并展示了智能体在哪些地方获得了这些效率提升。本文的交互版本可在 此 https URL 获取。
| 评论： | 已被 Reinforcement Learning Conference (RLC) 2026 接收。添加了交互版本：此 https URL。作者姓名变更 |
| 主题： | 人工智能 (cs.AI)；机器学习 (cs.LG) |
| 引用为： | arXiv:2510.22833 [cs.AI] |
| （或 arXiv:2510.22833v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.22833 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Adrian Orenstein [查看电子邮件]
[v1]
2025年10月26日星期日 21:01:30 UTC (3,498 KB)
[v2]
2026年10月12日星期一 17:14:41 UTC (3,582 KB)
[v3]
2026年10月14日星期三 10:19:05 UTC (3,582 KB)
来源：arXiv cs.AI · arxiv.org