arXiv cs.CL· Wei Huang, Keping Bi, Yinqiong Cai, Wei Chen, Jiafeng Guo, Xueqi Cheng·· 2 天前AI 评分24
LLM 生成文本如何影响基于词项的检索模型？
How Do LLM-Generated Texts Impact Term-Based Retrieval Models?
AI 导读
研究发现，LLM 生成文本呈现更平滑的高频 Zipf 斜率、更陡峭的低频斜率和更高的词项特异性，文档级多样性也更强。基于词项的检索模型并不存在固有的来源偏见，而是优先返回词项分布与查询更接近的文档。该工作为理解和应对混合来源内容下基于词项的 IR 系统潜在偏见提供了基础。
正文 · AI 翻译
摘要：随着大语言模型（LLM）生成的内容大量涌入互联网，信息检索（IR）系统如今面临着区分和处理人类撰写与机器生成文本混合内容的挑战。近期研究表明，神经检索器可能对 LLM 生成的内容表现出偏好倾向，而 BM25 等经典基于词项的检索器则倾向于人类撰写的文档。本文研究了 LLM 生成内容对基于词项的检索模型的影响，这类模型因其高效性和跨领域的稳健泛化能力而备受重视。我们的语言学分析表明，LLM 生成的文本呈现出更平滑的高频和更陡峭的低频 Zipf 斜率、更高的词项特异性以及更大的文档级多样性。这些特征与 LLM 被训练以通过多样且精确的表达来优化读者体验相一致。我们的研究进一步探讨了基于词项的检索模型是否表现出来源偏差，结论是这些模型优先考虑词项分布与查询词项分布高度对应的文档，而非表现出固有的来源偏差。这项工作为理解和解决管理混合来源内容的基于词项 IR 系统中的潜在偏差提供了基础。
| 主题： | 信息检索（cs.IR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2508.17715 [cs.IR] |
| （或本版本的 arXiv:2508.17715v2 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2508.17715 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Wei Huang [查看邮箱]
[v1]
2025年8月25日星期一 06:43:27 UTC（502 KB）
[v2]
2026年10月15日星期四 05:27:44 UTC（490 KB）
来源：arXiv cs.CL · arxiv.org