arXiv cs.AI· Carlos Pel\'aez-Gonz\'alez, Francisco Herrera, Andr\'es Herrera-Poyatos·· 13 小时前AI 评分34
LLM 推荐系统中的位置偏差可被统计检测：POB-ICM 与 POB-UNBP 方法及实证
Statistical Detection of Positional Bias in LLM-Based Recommender Systems: Methodologies and Empirical Evidence
AI 导读
研究提出 POB-ICM 与 POB-UNBP 两种方法检测 LLM 推荐系统中的位置偏差，即推荐结果依赖候选商品在提示词中的排列顺序。基于真实商品目录、固定提示模板和 2000 条查询各 20 种排列（共 40,000 个实例）的 RAG 测试台，所有受测 SOTA 模型均拒绝位置独立性与均匀性原假设。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地通过检索增强生成（RAG）在对话式推荐系统（RS）中充当推荐生成器。这种灵活的设计引入了新的结构性偏差来源。本文研究了基于 LLM 的 top-1 单轮推荐系统中的位置偏差：推荐项对提示中候选呈现顺序的系统性依赖。我们提出了两种互补的检测方法：(i) POB-ICM，基于列联表分析和卡方独立性检验；(ii) POB-UNBP，一种基于置换评估下均匀性零模型的样本高效方法，支持具有形式化统计保证的随机解码。我们使用一个受控的 RAG 产品推荐测试平台，该平台基于真实产品目录、固定提示模板和 2000 条模板生成的用户查询（每条 20 种排列，共 40,000 个实例）构建；两种方法在所有评估的先进模型中均拒绝了位置独立性和均匀性的零假设。我们引入三个互补指标——排列敏感性、位置偏差和强位置偏差——来量化这一效应，其中后者针对的是位置将推荐推向明显更不相关项、而非仅在相关性相当的项之间进行选择的情况。跨候选集大小和解码温度的稳健性分析表明，该偏差是结构性的且依赖于模型，并非确定性解码或候选集大小的产物。这些结果确立了位置偏差在所评估设置中是提示介导的推荐流水线的一种可测量、可复现的属性，并推动对已部署的基于 LLM 的推荐系统进行常规审计和治理控制（例如顺序随机化、标准化提示）。源代码已公开发布。
| 评论： | 34 页，8 幅图，18 张表 |
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI） |
| ACM 分类： | H.3.3；I.2.7；G.3 |
| 引用为： | arXiv:2610.37962 [cs.IR] |
| （或本版本的 arXiv:2610.37962v1 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2610.37962 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Carlos Peláez-González [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 20:48:30 UTC（963 KB）
来源：arXiv cs.AI · arxiv.org