跳到正文
arXiv cs.AI· Nathaniel S. Keplinger, Baiting Luo, Yunuo Zhang, Kyle Hollins Wray, Aron Laszka, Abhishek Dubey, Ayan Mukhopadhyay·· 4 小时前AI 评分34

NS-Gym:面向非平稳马尔可夫决策过程的开源仿真框架

NS-Gym: A Comprehensive and Open-Source Simulation Framework for Non-Stationary Markov Decision Processes

AI 导读

NS-Gym 是首个专为非平稳马尔可夫决策过程(NS-MDP)设计的仿真工具包,集成于 Gymnasium 框架,将环境参数演化与智能体决策模块分离。该工具包提供标准化接口与基准问题,并在 NeurIPS 2025 Datasets and Benchmarks Track 发表,含 34 页、26 图、20 表。作者用 NS-Gym 对已有 NS-MDP 算法进行了基准测试。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:许多现实世界应用需要在环境动态随时间演变的条件下进行决策。这些非平稳环境对传统决策模型构成了重大挑战,因为传统模型通常假设动态是平稳的。非平稳马尔可夫决策过程(NS-MDPs)提供了一个框架,用于在此类变化条件下建模和求解决策问题。然而,与针对平稳问题广泛流行的框架不同,目前尚无针对 NS-MDPs 的标准化仿真框架。我们提出 NS-Gym,这是首个专为 NS-MDPs 设计的仿真工具包,并集成于流行的 Gymnasium 框架中。在 NS-Gym 中,我们将刻画非平稳性的环境参数的演化与智能体的决策模块分离,从而实现对动态环境的模块化、灵活适配。我们回顾了该领域的先前工作,并提出了一个工具包,封装了 NS-MDPs 中的关键问题特征和类型。该工具包是开发一套标准化接口和基准问题的首次尝试,旨在实现对非平稳条件下算法的一致且可复现的评估。我们还使用 NS-Gym 对先前 NS-MDPs 工作中的若干算法方法进行了基准测试。我们设想 NS-Gym 将通过提供标准化接口、仿真框架和基准问题,使研究人员能够研究非平稳条件下的决策。项目文档、网页和代码可在 此 https URL 和 此 https URL 找到
评论: NeurIPS 2025 数据集与基准赛道。34 页,26 幅图,20 张表
主题: 人工智能(cs.AI)
引用为: arXiv:2501.09646 [cs.AI]
  (或 arXiv:2501.09646v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2501.09646

由 DataCite 颁发的 arXiv DOI

期刊 参考: Advances in Neural Information Processing Systems 38 (NeurIPS 2025), Datasets and Benchmarks Track, pp. 1804-1844
相关 DOI: https://doi.org/10.52202/085713-0059

链接到相关资源的 DOI

提交历史

来自:Nathaniel Keplinger [查看电子邮件]
[v1] 2025 年 1 月 16 日星期四 16:38:33 UTC(1,867 KB)
[v2] 2026 年 11 月 16 日星期一 19:31:20 UTC(1,101 KB)

来源:arXiv cs.AI · arxiv.org