arXiv cs.CL· Miaobo Hu, Shuhao Hu, Xiaobo Guo, Xin Wang, Bokun Wang, Rui Chen, Daren Zha·· 11 小时前AI 评分31
Audit-First VAPO：不完美验证器下的风险认证选择性更新
Audit-First VAPO: Risk-Certified Selective Updates under Imperfect Verification
AI 导读
Audit-First VAPO 将离散的方向准入与连续的幅度控制分离，用有限二次验证预算的 accept-appeal-abstain 策略在干净标签加入前冻结动作轨迹，并对选中有害风险、覆盖率和验证器调用率给出有限样本认证。
正文 · AI 翻译
摘要：不完美的验证器即使其更新幅度被裁剪和正则化所限制，也可能给出有害的更新方向。我们提出 Audit-First VAPO，将离散的方向准入与连续的幅度控制分离。一个仅基于观测的接受-申诉-弃权策略使用有限的二次验证预算；其动作轨迹在干净标签加入之前即被冻结。随后，同时有限样本界在预先声明的策略族上认证所选有害风险、覆盖率和验证器调用率。条件 Hoeffding-Azuma 界考虑了共享预算所诱导的依赖性，而 rollout 或验证器的变化会启动新的认证阶段。准入之后，一个有界的 trust-clip-KL 执行器控制幅度。我们在两个推理基准上对两个模型进行评估，对比静态 RLVR、匹配随机选择、置信度阈值、噪声校正和验证器增强。在 Qwen3.5-0.8B 和 GSM8K 上，目标风险 $\rho=0.08$ 时，RC-VAPO 达到 74.1% 的准确率、所选有害风险 0.0697、覆盖率 0.4125，相对验证器成本 $1.16\times$。在匹配覆盖率和更新幅度下，其与匹配随机的所选风险差为 -0.0260，配对 95% 区间为 $[-0.0364,-0.0157]$。在非对称、置信度相关和相关性验证器噪声下，证书在 60 次独立运行中有 57 次得到满足。这些比较将有信息量的方向选择与提议抑制、更新收缩和额外验证器计算区分开来。
| 评论： | 33 页，7 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.33662 [cs.AI] |
| （或 arXiv:2609.33662v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.33662 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Miaobo Hu [查看邮箱]
[v1]
2026 年 9 月 27 日周日 15:21:45 UTC（1,469 KB）
[v2]
2026 年 10 月 16 日周五 11:41:12 UTC（1,469 KB）
来源：arXiv cs.CL · arxiv.org