arXiv cs.AI· Haichuan Wang, Anagha Satish, Jiale Zheng, Saisneha Ghatti, Lingkai Kong, Kai Wang, Milind Tambe·· 3 天前AI 评分21
DiffNash：用扩散策略在高维连续动作空间中求解纳什均衡
DiffNash: Finding Nash Equilibrium in High-Dimensional Continuous Action Spaces with Diffusion Policies
AI 导读
DiffNash 提出一种基于扩散模型的均衡计算框架，通过重加权 score-matching 目标训练扩散策略，无需从每次更新后的策略中直接采样，从而实现 Online Mirror Descent（OMD）与 Fictitious Play（FP）的扩散变体。
正文 · AI 翻译
摘要：在高维连续博弈中计算均衡需要学习和表示丰富的、多模态的策略分布，而传统的神经策略难以做到这一点。扩散模型提供了一种自然的解决方案，但标准的扩散训练需要从固定目标分布中直接采样，而在迭代式博弈求解更新中通常无法获得这样的样本。我们提出了一种基于扩散的均衡计算框架，支持 Online Mirror Descent（OMD）和 Fictitious Play（FP）的基于扩散的变体。我们的方法推导出一个重加权得分匹配目标，无需从每个更新后的策略中直接采样即可训练扩散策略。我们的主要方法 DiffNash 通过回放缓冲区复用过去的动作，将 OMD 的快速收敛与 FP 的样本效率结合起来。为了校正由样本复用导致的分布偏移，我们推导出当前策略与过去策略的证据下界（Evidence Lower Bound）之差的无偏估计量，其指数为相应的重要性权重提供了一个可处理的代理，而无需评估扩散似然。我们在森林保护博弈和连续 Colonel Blotto 博弈上评估了我们的方法，在极少超参数调优的情况下，将 Nash gap 相对于最强基线分别降低了 35.6% 和 24.7%。
| 评论： | 41 页，11 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机科学与博弈论（cs.GT）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.15932 [cs.LG] |
| （或使用 arXiv:2610.15932v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.15932 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Haichuan Wang [查看邮箱]
[v1]
2026年10月11日星期日 21:33:25 UTC（5,765 KB）
来源：arXiv cs.AI · arxiv.org