跳到正文
arXiv cs.AI· Akira Yoshiyama, Akmal Ashirmatov, Jonas H\"ubotter, Ido Hakimi, Andreas Krause·· 11 小时前AI 评分38

Test-Time Self-Play:无需验证器的测试时扩展方法

Test-Time Self-Play: Scaling without a Verifier

AI 导读

研究者提出 Test-Time Self-Play(TTSP),用非对称自博弈实现不依赖验证器的测试时扩展。在难度校准的 LiveCodeBench v6 子集上,TTSP 在评估的每种验证器强度下均表现最佳,且验证器越弱领先幅度越大;在无验证器极限下,mean@8 绝对提升 35%。该增益在多种验证器强度下成立,但当基础策略对正确答案覆盖接近零时除外。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:测试时扩展方法在部署阶段投入额外算力,以提升大语言模型在困难目标任务上的表现。大多数方法依赖验证器对候选解的正确性打分,并据此在模型输出中进行选择或改进。然而,在许多部署场景中,针对目标问题的强验证器并不可用。我们提出测试时自博弈(Test-Time Self-Play,TTSP),这是一种不依赖验证器、使用非对称自博弈进行测试时扩展的方法。在 LiveCodeBench v6 中经过难度校准的子集上,在我们评估的每一种验证器强度下,TTSP 都是表现最好的方法,并且随着验证器变弱,其与最强基线的差距进一步扩大;在无验证器的极限情况下,TTSP 使 mean@8 取得了 35\% 的绝对提升。除基础策略对正确答案的覆盖接近零的情况外,这些增益在多种验证器强度下均成立。
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.07367 [cs.LG]
  (或 arXiv:2611.07367v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.07367

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Akira Yoshiyama [查看邮箱]
[v1] 2026年11月5日星期四 03:07:02 UTC(4,477 KB)

来源:arXiv cs.AI · arxiv.org