arXiv cs.AI· Miaobo Hu, Shuhao Hu, Xiaobo Guo, Xin Wang, Bokun Wang, Rui Chen, Daren Zha·· 12 小时前AI 评分22
OSCC：面向不完美信息学习的观测安全耦合优化框架，用于梯度噪声控制
OSCC: Certified Observation-Safe Coupling Optimization for Gradient-Noise Control in Imperfect-Information Learning
AI 导读
研究者提出观测安全反事实耦合框架 OSCC，通过边际保持、信息状态安全等五项条件定义可接受的耦合类，并推导出策略梯度噪声变化由策略雅可比加权的非对角收益协方差决定。
正文 · AI 翻译
摘要：耦合式 rollout 可以降低反事实动作比较的噪声，但有两个问题使标准的公共随机数构造无法在非完全信息环境中充当通用的学习原语。第一，无效的耦合可能暴露隐藏状态、同步内生的策略随机性，或在反事实历史分叉后使机会事件错位。第二，在多动作策略优化中，更低的回报对比方差本身并不是相关目标：优化器依赖的是经过局部策略梯度几何投影后的回报协方差矩阵。我们提出观测安全的反事实耦合（OSCC），该框架通过边缘保持、信息状态安全、分支局部策略随机性、语义事件对齐以及先追踪后 oracle 重放来定义可容许类。我们推导出一个梯度感知的耦合准则，表明对于边缘保持耦合，策略梯度噪声的变化由策略雅可比加权的非对角回报协方差决定。这启发了 OSCC-Select，一种仅用于校准的选择器，它利用独立的安全证书和增益证书在独立、仅根节点、仅延续和完全耦合的 rollout 之间进行选择。其增益目标将投影梯度噪声与实测的物理采样成本相结合，并且当同时下置信界无法证明改进时，回退到独立采样。在 100,000 次固定根节点的 Leduc 比较中，完全耦合的 CP-GRPO 实例将回报对比方差从 41.1158 降至 18.1441，降幅为 55.87%，同时保持所声明的分支边缘分布。在三个动作的情况下，OSCC-Select 选择延续耦合，并达到梯度噪声迹 0.0783，而回报方差选择为 0.0917。将校准从 64 组增加到 2,048 组，使认证率从 0.327 提升到 0.995。
| 评论： | 34 页，10 张图 |
| 主题： | 人工智能（cs.AI）；计算机科学与博弈论（cs.GT）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.33543 [cs.AI] |
| （或此版本的 arXiv:2609.33543v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.33543 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Miaobo Hu [查看邮箱]
[v1]
2026 年 9 月 27 日星期日 13:10:30 UTC（1,712 KB）
[v2]
2026 年 10 月 16 日星期五 10:56:55 UTC（1,712 KB）
来源：arXiv cs.AI · arxiv.org