arXiv cs.AI· Mohammad Zangooei, Peyvand Teymoori, Mohammad Robati Shirzad, Soroosh Shahtalebi·· 1 天前AI 评分31
CPA：反事实成对增强提升小型 pointwise LLM 评判器
Counterfactual Pairwise Augmentation Improves Small Pointwise LLM Judges
AI 导读
CPA（Counterfactual Pairwise Augmentation）通过为每个 pointwise 样本合成并审核同查询下标签相反的反事实回答，将接受对框定为成对任务，联合微调后仅以 pointwise 模式部署。
正文 · AI 翻译
摘要：智能体系统越来越多地使用逐点评判器来把关各个步骤，该评判器根据某一标准对回答进行评分。小型语言模型因能够高效部署和专门化而适合担任这一角色。此类评判器必须定位标准的决策边界，但在微调中，逐点标签对该边界的确定并不充分：针对不同查询的已标注回答会同时在多个维度上存在差异，因此无法揭示哪些特征决定了标签。我们提出 CPA（反事实成对增强），在训练中显式呈现决定性的差异。对于每个逐点样本，CPA 合成并审核针对同一查询、意图携带相反标签的反事实回答。它将接受的配对构建为成对任务，询问两个回答中哪一个满足标准。评判器在逐点和成对数据集上联合微调，但仅以逐点模式部署。二阶分析表明，这何时应优于当前主流策略——即合并分别训练的逐点和成对专家：合并会将每个参数方向以相同比例移向成对专家，而联合训练可以在成对损失平坦处保持逐点最优，并在其陡峭处吸收其曲率。这正是 CPA 的同源、反事实最小成对视图所设计产生的状态。在针对六项二元标准的独立 Qwen3-8B LoRA 适配器上，CPA 将标准平均的逐点 macro-F1 较仅逐点训练提升 2.5 个点，并在所有六项标准上、每个测试的合并权重下均优于模型合并。它还比我们评估的最强零样本前沿评判器 Gemini 3.6 Flash 高出 11.8 个点。
| 评论： | 被 NeurIPS'26 智能体系统小型语言模型研讨会接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41149 [cs.AI] |
| （或 arXiv:2610.41149v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.41149 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammad Zangooei [查看邮箱]
[v1]
2026年10月30日星期五 02:12:30 UTC（48 KB）
来源：arXiv cs.AI · arxiv.org