arXiv cs.CL· Zhimin Gao, Meibo Hu, Jiamian Wang, Zhiqiang Tao, Pichao Wang·· 11 小时前AI 评分31
PRDO：面向推理模型选择性预测的推理后分布优化
Beyond Outcome Rewards: Post-Rationale Distribution Optimization for Selective Prediction in Reasoning Models
AI 导读
研究者提出 Post-Rationale Distribution Optimization（PRDO），在每个采样推理链之后对答案分布施加 proper score，无需目标推理链或单独置信度标签。
正文 · AI 翻译
摘要：推理模型被训练以产出正确答案，但选择性部署需要对接受或推迟哪些答案进行排序，而结果奖励训练并不会直接优化用于该决策的推理后分布。我们识别出两处不匹配：期望正确性是模式寻求而非分布引出，且对多个推理取平均打分所奖励的分歧，单推理决策无法获得。我们提出推理后分布优化（PRDO），它在每个采样推理之后对答案分布施加适当的评分，无需目标推理或单独的置信度标签。在 MMLU-Pro 上的四个 0.6--3.8 亿参数模型中，PRDO 相对于预算匹配、温度缩放的 GRPO 改善了 Brier 分数、错误排序和二次准确率。在 20\% 实际错误率下，oracle 覆盖率提升了 \npj{Q3a_vs_grpo.qwen3-0.6b.mp.oracle_cov@0.this http URL}--\npj{this http URL-4-mini.mp.oracle_cov@0.this http URL} 个百分点，且排序增益可迁移到未见任务。匹配对照实验确认，适当的逐推理评分是有效的设计选择，而验证任务揭示了边界：更好的选择性排序可能与更低的全覆盖准确率并存。代码见 this https URL
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.38850 [cs.AI] |
| （或 arXiv:2609.38850v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.38850 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自：Pichao Wang [查看邮箱]
[v1]
2026年9月30日 星期三 03:08:45 UTC（55 KB）
[v2]
2026年11月1日 星期日 19:28:31 UTC（545 KB）
来源：arXiv cs.CL · arxiv.org