arXiv cs.CL· Yining Li, Huayang Li, Lemao Liu, Taro Watanabe·· 12 小时前AI 评分34
大语言模型的位置偏见：一项覆盖多规模、多语言与思考模型的综合研究
On the Position Bias of Large Language Models: A Comprehensive Study
AI 导读
一项综合研究考察了大语言模型的位置偏见，覆盖从十亿级到万亿级参数规模，以及五种语言下的多项选择题和多文档任务。实验显示，小规模模型和非英语语言中位置偏见依然明显，而增大模型规模与采用标准 Chain-of-Thought 提示可显著缓解该问题。具备扩展推理能力的思考模型几乎不受位置偏见影响，提示这是一条成本较高但通用的解决路径。
正文 · AI 翻译
摘要：近期研究表明，位置偏差仍然是大语言模型（LLM）中的一项关键脆弱性，既损害了多项选择评估的完整性，也削弱了检索增强生成的可靠性。然而，现有对这一现象的理解主要来自模型覆盖范围有限且以英语为中心的基准研究，导致前沿模型及多种语言下的行为尚未得到充分探索。在本工作中，我们对从十亿级到万亿级参数规模的模型进行了位置偏差的全面考察，涵盖五种语言下的多项选择与多文档任务。实验表明，尽管位置偏差在小规模模型和非英语语言中仍然明显，但增大模型规模并采用标准思维链提示可显著缓解该问题。此外，我们证明具备扩展推理能力的新兴\emph{思考模型}几乎不受位置偏差影响，这提示了一条解决该脆弱性虽代价高昂但具有通用性的途径。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22807 [cs.CL] |
| （或 arXiv:2610.22807v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22807 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Huayang Li [查看邮箱]
[v1]
2026年10月16日星期五 01:35:43 UTC（102 KB）
来源：arXiv cs.CL · arxiv.org