arXiv cs.AI· Yifan Zhang, Liang Zheng, Qifan Zhang·· 11 小时前AI 评分18
单智能体鲁棒深度强化学习用于公交车队控制
Single Agent Robust Deep Reinforcement Learning for Bus Fleet Control
AI 导读
研究提出一种单智能体强化学习框架用于公交驻站控制，通过将车辆ID、站点ID、时段等类别标识与车头时距、载客率、速度等数值特征一起编码进状态空间，把多智能体问题重构为单智能体问题。改进的SAC在随机条件下取得-430k表现，优于MADDPG的-530k。该方法面向非环线、含时刻表与动态需求的真实运营场景，为MARL提供可扩展替代方案。
正文 · AI 翻译
摘要：由于交通和乘客需求的随机性，公交串车仍然是城市公共交通面临的一项挑战。传统解决方案依赖于环线场景下的多智能体强化学习（MARL），但这类方法忽略了异构线路、时刻表、波动需求以及不同车队规模等现实运营特征。我们提出了一种新颖的单智能体强化学习（RL）框架用于公交驻站控制，避免了在接近真实的仿真中 MARL 存在的数据不平衡和收敛问题。构建了一个具有动态乘客需求的双向时刻表网络。关键创新在于通过将类别标识符（车辆 ID、站点 ID、时间段）与数值特征（车头时距、载客量、速度）一同加入状态空间，将多智能体问题重构为单智能体问题。这种高维编码使单智能体策略能够捕捉智能体间的依赖关系，类似于将不可分离的输入投影到更高维空间。我们进一步设计了与运营目标一致的结构化奖励函数：不再对车头时距偏差施加指数惩罚，而是采用脊形奖励来平衡均匀的车头时距与时刻表遵守度。实验表明，我们改进的软演员-评论家（SAC）相比基准方法（包括 MADDPG）取得了更稳定且更优的性能（例如在随机条件下为 -430k 对 -530k）。这些结果表明，单智能体深度 RL 在结合类别结构化与时刻表感知奖励后，能够有效管理非环线、真实场景中的公交驻站。这一范式为 MARL 框架提供了一种稳健、可扩展的替代方案，尤其是在智能体特定经验不平衡的情况下。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2508.20784 [cs.AI] |
| （或 arXiv:2508.20784v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2508.20784 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.1093/tse/tdag005
链接到相关资源的 DOI |
提交历史
来自：Yifan Zhang [查看邮箱]
[v1]
2025 年 8 月 28 日星期四 13:47:40 UTC（8,531 KB）
[v2]
2026 年 3 月 19 日星期四 06:32:04 UTC（8,588 KB）
[v3]
2026 年 10 月 17 日星期六 07:41:40 UTC（8,588 KB）
来源：arXiv cs.AI · arxiv.org