arXiv cs.CL· Yirui Zhang, Yash Raj Shrestha·· 3 天前AI 评分36
研究：LLM 审查很少胜过更强模型，验证与能力迁移需区分
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
AI 导读
对 12 个开源模型（3B 至 72B）组成的 48 对组合测试显示，在数学、知识、代码和推理任务中，审查仅在 96 个审查方向中的 9 个胜过更强模型，且能力差距越大表现越差。原因是锚定效应：审查者大多跟随生成者，丢弃了自己的正确答案。审查成本是单独使用更强模型的 2.6 至 2.8 倍，而同样两次调用的选择器比审查准确率高 2.7 至 4.2 分且更便宜。
正文 · AI 翻译
摘要：Qwen3-8B 在数学上评审 Llama-3.1-8B 可提升 33.2 分，但 Qwen3-8B 单独作答比该结果还准确 6.4 分。评审另一个模型的答案通常以其相对生成器的增益来评判。我们表明，这混淆了验证（在任一模型单独之上增加准确率）与能力迁移（更强的评审者提供它本可自行给出的答案）。以更强的模型单独为基准，在数学、知识、代码和推理四个领域的 48 对 12 个开放权重模型（3B 到 72B）中，评审仅在 96 个评审方向中的 9 个上胜过它，且能力差距越大表现越差。原因在于锚定：评审者大多跟随生成器，丢弃自己正确的答案。评审的成本是更强模型单独的 2.6 到 2.8 倍，而使用同样两次调用的选择器比评审准确 2.7 到 4.2 分且更便宜。验证研究应报告更强模型单独的结果，而不仅仅是相对生成器的增益。
| Comments: | 22 页，7 幅图，12 张表。代码：this https URL |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.15897 [cs.CL] |
| （或 arXiv:2610.15897v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.15897 arXiv 颁发的 DOI，经由 DataCite |
Submission history
来自：Yirui Zhang [查看邮箱]
[v1]
2026 年 10 月 11 日星期日 20:26:36 UTC（288 KB）
[v2]
2026 年 10 月 14 日星期三 11:38:52 UTC（291 KB）
来源：arXiv cs.CL · arxiv.org