arXiv cs.AI· Hongyu H\`e, Minhao Jin, Maria Apostolaki·· 11 小时前AI 评分29
ReGuard：为 RL 网络控制器发现最坏场景并在推理时提供保护
Worst-Case Discovery and Runtime Protection for RL-Based Network Controllers
AI 导读
ReGuard 框架将最坏场景发现问题建模为双层遗憾最大化问题，可为 RL 网络控制器认证最坏性能差距下界，并在推理时用轻量逻辑规则干预、无需重训练。在 Pensieve、Sage、Park 三个控制器上，ReGuard 发现其相对同条件下可达性能损失达 43-64%，所暴露的性能差距比最强基线大 57% 至 6 倍，首轮迭代即缩小 79-85%。该保护还能泛化到未发现的网络条件。
正文 · AI 翻译
摘要：基于强化学习的控制器在拥塞控制和自适应码率流媒体等网络任务中取得了很强的平均性能。然而，在仍可实现强性能的网络条件下，它们的性能可能会严重下降。通过枚举来识别此类条件并量化由此产生的性能差距是难以处理的，而强化学习控制器的序列化和闭环特性使得形式化验证方法不切实际。
我们提出 ReGuard，一个为给定强化学习控制器发现最坏情况场景并在推理时保护其免受这些场景影响而无需重新训练的框架。ReGuard 将场景发现表述为双层遗憾最大化问题，证明控制器最坏情况性能差距的下界。随后，ReGuard 分析所发现的反事实轨迹，并将其编译为轻量级逻辑规则，仅在检测到风险状态时进行干预，否则保持控制器行为不变。
我们在三个基于强化学习的网络控制器上评估 ReGuard：Pensieve、Sage 和 Park。ReGuard 发现了每个控制器相对于相同条件下可实现性能遭受 43-64% 性能损失的场景。ReGuard 揭示的性能差距比最强基线所发现的差距大 57% 至 6 倍，并在其第一次迭代中通过轻量级基于规则的保护将这些差距缩小 79-85%，迭代地将剩余差距推向正常水平。ReGuard 的保护范围超出了其发现的场景，在广泛的网络条件下提升了性能。
| 评论： | 发表于 USENIX NSDI 2027 |
| 主题： | 网络与互联网架构 (cs.NI)；人工智能 (cs.AI)；系统与控制 (eess.SY) |
| MSC 分类： | 68M12, 68M15, 68T05, 68Q25, 68M20 |
| ACM 分类： | C.2.2; I.2.6; C.4; C.2.6 |
| 引用为： | arXiv:2605.04373 [cs.NI] |
| （或 arXiv:2605.04373v2 [cs.NI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.04373 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hongyu Hè [查看电子邮件]
[v1]
2026年5月6日星期三 00:42:32 UTC (1,606 KB)
[v2]
2026年11月5日星期四 00:02:17 UTC (3,963 KB)
来源：arXiv cs.AI · arxiv.org