arXiv cs.AI· Bingnan Zhao, Harshala Gammulle, Tharindu Fernando·· 4 小时前AI 评分31
深度强化学习在 HVAC 监督控制中何时真正有效?四项直接在 FMU 上训练的 Modelica 小型案例研究
When does deep reinforcement learning pay off in HVAC supervisory control? Four small Modelica case studies trained directly on FMUs
AI 导读
一项基于布里斯班办公楼四项 Modelica 小型案例的研究发现,直接在导出的 FMU 上训练的 soft actor-critic 智能体在无储能的冷凝水与冷冻水重置案例中达到近最优参考,但相对调优规则控制器的优势仅 1.3% 和 0.18%。
正文 · AI 翻译
摘要:深度强化学习(DRL)常被提出用于供暖、通风与空调(HVAC)系统的监督控制。然而,所报告的收益难以解读,因为基线往往较弱,且可达到的最优值鲜为人知。本文基于澳大利亚布里斯班的一栋办公楼,考察了四个规模小、可复现的案例研究:分时电价下的预冷;带冷凝器水温重置的冷水机组分级;带湿式冷却盘管的冷冻水供水温度重置;以及分时电价和需量电费下的冷冻水蓄冷。设备采用 Modelica Buildings 库建模,其中三个案例中,软演员-评论家智能体直接在导出的功能模型单元(FMU)上训练。每个智能体均与调优后的规则控制器进行比较,并在可行时与来自逐小时穷举搜索或具有完美预见的动态规划的近最优参考进行比较。
在两个不含蓄冷的案例中,智能体达到了近最优参考,但相对于精心选择的规则的领先幅度很小:冷凝器水温重置为 1.3%,冷冻水重置为 0.18%。在后一案例中,两条常见的重置规则比固定设定点消耗了更多能量。在带有冷冻水蓄冷罐的情况下,领先幅度明显更大。智能体优于两条规则(-7.8%,相比之下分别为 -3.9% 和 -6.3%),并在太阳能低谷时段采用正午充冷,但其仅获得了完美预见调度所实现节能的约 45%,且对限制需量峰值作用甚微。在预冷案例中,手工调优的规则仍然更优(-12.0%,相比之下为 -5.6%)。这些结果表明,针对 HVAC 控制的 DRL 研究应说明最佳规则与近最优参考之间的差距。本文还报告了在联合仿真 FMU 上训练时遇到的一些实际困难。
| 评论: | 16 页,4 幅图,2 张表。代码、模型和训练好的智能体:此 https URL |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);系统与控制(eess.SY) |
| 引用为: | arXiv:2611.22144 [cs.LG] |
| (或 arXiv:2611.22144v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22144 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Bingnan Zhao [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 03:29:06 UTC(569 KB)
来源:arXiv cs.AI · arxiv.org