arXiv cs.AI· Patrick Helm, Jan-Niklas Doerr, Joren Gijsbrechts, Stefan Minner·· 12 小时前AI 评分31
硬约束下的平滑梯度：通过可微分投影学习可行的库存策略
Hard Constraints, Smooth Gradients: Learning Feasible Inventory Policies via Differentiable Projection
AI 导读
研究者提出在策略网络内嵌入可微分优化模块：神经网络输出连续动作目标，二次规划将其投影到松弛可行集，再由对偶信息驱动的整数映射恢复整数性并保持可行性，使策略能像 MILP 一样灵活处理硬约束。
正文 · AI 翻译
摘要：许多运营问题都是受约束的序贯决策过程，具有组合动作空间和相互依赖的约束。混合整数线性规划（MILP）能灵活处理此类约束，但在随机环境中扩展性较差。深度强化学习（DRL）有望提供可扩展的决策规则，但现有方法要么对约束施加惩罚而非强制执行，要么依赖一旦约束相互作用就会失效的可行性机制。我们通过在策略中嵌入可微优化模块来弥合这一差距：神经网络提出连续动作目标，二次规划将其投影到松弛可行集上，双信息整数映射在保持可行性的同时恢复整数性。给定可微模拟器，该策略利用路径梯度从采样轨迹端到端训练，同时以与 MILP 相似的灵活性处理硬约束。我们证明，该方法相对于精确整数投影具有有界误差，并确保整个可行动作空间可达。我们将该方法应用于共享资源和物料约束下的多级生产-库存规划。我们的策略在 3 项实例上达到 1% 的平均最优性差距，并在 10 项网络中始终比滚动时域多阶段随机规划至少优 5.6%。与最先进的梯队基础库存策略相比，在 40 项实例上节省可达 15.3%。在 ASML 非平稳需求的行业规模案例研究中，我们相对于已知最佳基准策略将平均成本降低最多 1.8%。节省在规划最难的地方最大：在容量紧张且需求变异性高的系统中。更广泛地说，我们表明 DRL 可以在具有硬约束的序贯决策问题中超越最先进的基线，而这类问题在实践中广泛存在。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.02343 [cs.AI] |
| （或此版本的 arXiv:2608.02343v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2608.02343 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Patrick Helm [查看电子邮件]
[v1]
2026年8月3日星期一 14:57:21 UTC（109 KB）
[v2]
2026年10月27日星期二 14:59:25 UTC（149 KB）
来源：arXiv cs.AI · arxiv.org