arXiv cs.MA· Wei Dai, Qianchu Liu, Guanghui Qin, Xing Han, Tristan Naumann, Paul Pu Liang, Sheng Zhang·· 2 天前AI 评分37
RRI：用对抗式元提示演化实现递归奖励改进
Recursive Reward Improvement via Adversarial Meta-Prompt Evolution
AI 导读
针对开放式专家任务中模型自写评分标准易被 solver 钻空子的问题，研究者提出 RRI（Recursive Reward Improvement），用奖励黑客对抗者监督奖励：先让对抗者写出钻评分标准空子的无用答案，再让同一模型在不看评分标准的情况下写诚实答案，经最多两步修复使诚实答案胜出。
正文 · AI 翻译
摘要：递归自我改进（RSI）因其在有限数据下工作的能力而受到广泛关注。在提议者-求解者循环中，提议者模型编写训练任务，求解者模型通过强化学习学会解决这些任务。此类循环在数学和编程领域取得了成功，因为每个答案都可以自动检查。开放式专家任务，如临床报告生成，没有标准答案，这使得简单的问答生成不可行。在这里，提议者还必须编写一份评分标准，列出答案应包含的内容以及应避免的错误。然而，模型编写评分标准背后的独特挑战在于其全面性。对于朴素生成的评分标准，求解者往往会利用它，只列出预期主题而没有实质内容，从而破坏学习过程。为了解决这个问题，我们引入了 RRI，即递归奖励改进，它使用奖励攻击对抗者来监督奖励。在求解者针对生成的任务进行训练之前，对抗者会编写一个答案，该答案钻评分标准的空子，同时尽可能无用；同一模型在未看到评分标准的情况下编写一个诚实答案；最多两个修复步骤会修改评分标准，使诚实答案获胜。所发现的漏洞也会改写未来任务和评分标准的生成方式。在 HealthBench Professional 上，RRI 在 9B 规模下将调整后得分较仅生成自我改进基线提高了 10.9 分，在 27B 规模下提高了 12.4 分，并且在没有任何外部模型的情况下提高了 10.3 分。特别是，在困难任务和写作任务上提升最大。我们表明，在 HealthBench Professional 描述上训练的 27B 模型在未见过任一任务的情况下，在 PRBench Hard 上提高了 6.6 分，在 ProfBench 上提高了 8.0 分。我们进一步分析了模型生成的问题-评分标准对的可利用点，以促进未来关于开放式自我博弈的研究。
| 主题： | 人工智能（cs.AI）；多智能体系统（cs.MA） |
| ACM 分类： | I.2.6；I.2.7；J.3 |
| 引用为： | arXiv:2610.21040 [cs.AI] |
| （或 arXiv:2610.21040v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21040 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wei Dai [查看电子邮件]
[v1]
2026年10月15日星期四 00:31:18 UTC（260 KB）
来源：arXiv cs.MA · arxiv.org