arXiv cs.AI· T. Y. Tsui, Zihao Ye, Pengxiang Cai, Yanchao Li, Yuqiang Li, Zhehong Ai·· 10 天前AI 评分22
最小见证强化学习 MWRL：让模型从验证器反馈中学会完整见证族
Minimal Witness Reinforcement Learning
AI 导读
研究者提出最小见证强化学习（MWRL），将"找出产生结果的全部最小充分条件"形式化为最小见证识别问题。MWRL 对策略采样出的成功提案取集合并集，并按每个提案对并集覆盖的边际贡献分配信用，由此从单一黑盒验证器的 1 bit 反馈中同时满足最小性与多解恢复。
正文 · AI 翻译
摘要：``产生一个结果所需的不可约条件是什么？''是计算和科学领域中最常反复出现的问题之一。其答案，即最小充分见证，就是我们所说的解释、机制和理由。这些问题通常要求多个最小见证，然而标准的强化学习方法可能只揭示一个解或冗余的解。我们将此问题形式化为最小见证识别，并引入最小见证强化学习（MWRL）。MWRL 取从策略中采样的成功提议所认证集合的并集，并根据若没有该提议则组并集将失去的覆盖范围来为每个提议记功。这种直接源自问题定义的信用分配，从单个黑盒验证器比特中统一了对最小性和替代方案恢复的要求。在此原则下，我们推导出一个恢复整个见证族的值迭代规划器，以及一个可扩展到大型语言模型的策略梯度方法。在不同的实验设置中，MWRL 恢复了大多数最小见证，而其他方法返回冗余超集或单个见证。通过使见证族可从验证器反馈中学习，MWRL 将强化学习的范围扩展到单解优化之外。我们的代码可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机科学中的逻辑（cs.LO） |
| 引用为： | arXiv:2610.07226 [cs.LG] |
| （或 arXiv:2610.07226v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.07226 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：T. Y. Tsui [查看电子邮件]
[v1]
2026年10月5日星期一 18:34:49 UTC（746 KB）
来源：arXiv cs.AI · arxiv.org