arXiv cs.AI· Hashmath Shaik, Gnaneswar Villuri, Alex Doboli·· 10 天前AI 评分24
能否预测 LLM 评审的位置翻转？基于残差流激活的线性探针研究
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
AI 导读
研究发现，LLM 评审在候选回答顺序调换后可能改变判定，而初始判定前的残差流激活可预测这种位置翻转。在 JudgeBench 的 534 对样本上，针对三个 Qwen3 评审和 Llama-3.1-8B 的线性探针 AUROC 达 .621-.850，比融合语言化置信度、判定标签 logits、回答长度和初始选择的基线高 .062-.113。
正文 · AI 翻译
摘要：候选回答的呈现顺序会改变 LLM 评判者的裁决。检测这种位置翻转通常需要以两种顺序评判每一对，这会使评判次数翻倍。我们研究在初始裁决之前立即记录的残差流激活能否预测翻转。我们使用嵌套分组交叉验证，在 534 个 JudgeBench 对上评估正则化线性探针，涉及三个 Qwen3 评判者和 Llama-3.1-8B。线性探针达到 .621-.850 的 AUROC，并比使用言语化置信度、裁决标签 logits、回答长度和评判者初始选择的组合基线高出 .062-.113 AUROC。在 JudgeBench 上训练后冻结的线性探针在 1,802 个 MT-Bench 比较上达到 .685-.853 的 AUROC，且未进行 MT-Bench 拟合或重新校准。这些结果表明，裁决前的激活支持预测对候选顺序的敏感性，并且优于此处评估的非激活预测器。
| 评论： | 它被提交至 NeurIPS 研讨会（JUDGE 研讨会），并收到 6.5 的评审分数，同时获得一个强烈接受和一个高于阈值的接受 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07115 [cs.LG] |
| （或使用 arXiv:2610.07115v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.07115 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hashmath Shaik [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 16:10:03 UTC（13 KB）
来源：arXiv cs.AI · arxiv.org