arXiv cs.CL· Hyunjong Ok, Minjae Park, Jaeho Lee·· 2 天前AI 评分22
一个偏差分数，两个因子：缓解措施如何影响多选题评估中的选项偏差
One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation
AI 导读
研究提出用合并选择率标准差（pooled SD）统一衡量多选题评估中的选择偏差与顺序敏感性，该指标可分解为翻转率与位置偏斜两个无标签因子。
正文 · AI 翻译
摘要：重新排列多项选择选项可能会改变模型的答案，这一效应被研究为选择偏差（对某些选项字母的偏好）和顺序敏感性（答案随选项排序变化而变化）。我们通过合并选择率标准差（pooled SD）将这两种视角联系起来，该指标衡量选项字母在不同问题和排序中被选择的不均匀程度。当每个问题的每个选项在每个位置出现的频率相同时，合并标准差恰好等于两个无标签因子的乘积：翻转率和位置偏斜。翻转率是在不同排序下所选选项发生变化的问题比例；位置偏斜是这些问题中选项字母选择率的标准差。在 41 个检查点和 12 个基准上，翻转率与准确率和输出不确定性相关，而位置偏斜与估计的选项符号先验相关。针对选择偏差的先验校正主要降低位置偏斜。将每个排序与其反转聚合，这是一种针对顺序敏感性的缓解措施，主要降低翻转率。两者都能将不同正确答案字母间的准确率范围降低相似幅度，但聚合留下的模型排名反转更少。在聚合之前应用先验校正会降低两个因子，并进一步缩小这一准确率范围。然而，聚合降低翻转率的部分原因是让问题落在同一个错误选项上。因此，我们建议报告这两个因子以区分缓解效果，同时报告准确率以区分稳定性与正确性。
| 评论： | 预印本 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20993 [cs.CL] |
| （或 arXiv:2610.20993v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20993 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hyunjong Ok [查看电子邮件]
[v1]
2026年10月14日星期三 22:13:28 UTC（275 KB）
来源：arXiv cs.CL · arxiv.org