LLM 生成文本如何影响基于词项的检索模型?
研究发现,LLM 生成文本呈现更平滑的高频 Zipf 斜率、更陡峭的低频斜率和更高的词项特异性,文档级多样性也更强。基于词项的检索模型并不存在固有的来源偏见,而是优先返回词项分布与查询更接近的文档。该工作为理解和应对混合来源内容下基于词项的 IR 系统潜在偏见提供了基础。
研究发现,LLM 生成文本呈现更平滑的高频 Zipf 斜率、更陡峭的低频斜率和更高的词项特异性,文档级多样性也更强。基于词项的检索模型并不存在固有的来源偏见,而是优先返回词项分布与查询更接近的文档。该工作为理解和应对混合来源内容下基于词项的 IR 系统潜在偏见提供了基础。
QREF 是一个即插即用的查询精炼器与证据过滤器,通过按当前推理意图重写搜索查询并保留相关证据,提升 DeepSearch 智能体性能。在四个基准上,WebSailor 的 Pass@1 平均相对提升 33.55%,TongyiDeepResearch 提升 11.04%,且无需修改架构或重训练推理策略。经强化学习训练的查询精炼器将缺乏判别性检索锚点的查询批次比例降低 95%。
研究发现搜索增强 LLM 常直接依据搜索摘要作答而不打开来源页面,这与更高的过时答案率和引用不实相关。团队用训练截止后发生变化的时间性事实,测试了一个商用模型的联网搜索和六个开放权重模型的受控检索配置,发现证据可用性与实际使用之间存在明显落差。即使检索到的证据已影响模型内部预测,最终答案仍可能偏向过时信息。
研究者提出 VoteGEO-Bench 基准,覆盖 2024 年美国大选与 2026 年日本众议院选举,结合选举查询、历史网页和选民画像,评估生成引擎优化(GEO)对选举信息可见度的影响。
SIDScope 为生成式推荐的语义 ID 接口提供诊断资源,包含来自 7 个 tokenizer 家族、覆盖 Amazon 与 Yelp 的 9 个导出,其中 8 个可执行、1 个为可审计快照。
研究者提出 ScholarQuest,一个基于 1000 多个计算机科学主题、围绕四类研究意图构建的分类引导基准,并配套百万级文献环境 ScholarBase 与共享多轮搜索测试框架。
GEO-Bench 是一个在统一协议下评估生成引擎优化(GEO)排名操纵攻击的基准,整合了 TAP、Zero-Shot 等黑盒提示攻击,STS、RAF、StealthRank 等白盒梯度攻击,以及十种白帽 C-SEO 策略。
研究利用 Google 内容审核政策构建双重差分设计,发现 AI Overviews 使 SFW Reddit 社区日评论量相对 NSFW 社区提升 12.0%、评论用户数提升 12.4%,且效果集中在观点、建议等经验型讨论而非事实型信息。但随后推出的 Google AI Mode 允许用户与 AI 摘要对话,基本消除了这些经验型内容的增长。结果表明 AI 搜索的影响取决于界面设计与内容类型。
SearchMaster 是一个自博弈框架,让共享 LLM 策略在本地搜索环境中自行生成、求解并验证搜索任务,无需人工标注 QA 对或专家演示。
研究比较了五种离线图嵌入变换及图修改嵌入与原始嵌入的搭配策略,无需查询时访问图。在合成职业网络基准上,直接替换原始嵌入会降低证据召回,而多阶段策略用图修改嵌入引导搜索、保留原始嵌入维持语义相关性,在需要关联事实或候选比较的问题上召回率相对纯向量检索最高提升 25.9%,并以少 40% 的返回节点数达到基线召回。检索表现更取决于图修改嵌入的使用方式,而非生成方式。
微信提出统一生成式检索框架 WeGR,由 CoCo-VAE 分词器与 DHPO 策略优化两部分组成,前者引入查询-物品和物品-物品协同信号并通过码本刷新缓解码本坍缩,后者逐步扩展奖励评估与策略优化视野以缓解精确 SID 匹配下的奖励稀疏。
针对深度搜索智能体蒸馏中"教师对某些实体过于熟悉导致监督信号偏弱"的问题,论文提出轻量门控信号 SEF,在实体入图前直接询问教师是否熟悉该实体。
多模态深度搜索框架 Neos 通过可训练的多模态证据接口(MEI)将检索内容转化为目标条件观测,并用智能体-环境协同演化流程交替进行策略强化学习与 MEI 监督微调,使证据获取与证据驱动决策形成闭环。Neos-9B 和 Neos-35B 在十项基准上取得专业多模态深度搜索智能体中的领先表现。
WeFair 通过挖掘真实用户改写行为,构建从示范、偏好到验证的渐进式对齐流程,用于微信短视频搜索的个性化查询改写。该方法结合监督课程学习、直接偏好优化与基于真实改写的严格验证奖励,并采用 GRPO 优化。微信短视频搜索线上 A/B 测试显示,有效点击查询率(VV>10s)相对提升 1.576%,查询改写率相对下降 1.731%。
研究者提出"lazy grounding"攻击:将基准问题改写后对应的邻近事实证据注入搜索语料,这些文档虽真实却与原始问题无关,仍会被检索并误导搜索智能体。在 12 个模型-基准组合上,该攻击使回答准确率平均下降 5.9 分、最高下降 17.3 分,且所有设置均出现邻近答案被采纳。证据出现位置越靠后或越像答案时,影响更强。
一项预注册复制实验向 gemini-3.1-pro-preview 发送 162 条请求(54 个问题、英/爱沙尼亚/芬兰三语、每问 4 个候选品牌、3 次重复),在 2026 年 9 月 22-23 日约十小时内分三波采集,并于 20.3 天后再次采集。
研究者提出 SCOUT 级联双轨检索框架,将检索性能与穷举搜索解耦:视觉轨先用轻量父检索器筛选候选池,再对候选应用更强的多向量重排器,语义轨则基于离线生成的层级页面与文档摘要提供互补信号,两者通过跨模态查询精炼融合。
一项针对 ChatGPT 聊天 UI 与 OpenAI API 的审计发现,禁用搜索时聊天 UI 在两个基准上准确率均低于 API,启用网络搜索后准确率最多下降 8 个百分点,甚至逆转了某一基准的模态表现趋势。
快手提出可控检索模型 CRM,将观看时长作为条件加入用户塔,训练时学习在给定实际观看时长下预测下一个视频,推理时直接输入目标观看时长即可调控检索,无需重训。物品塔与条件解耦,物品嵌入仍可预计算并建索引做 ANN 搜索,CRM 同时以 DNN 双塔和 Decision Transformer 实现,后者用目标观看时长作为数值提示词。
研究提出一种针对查询-来源-答案三元组的 claim-gated 审计规范,仅当关系证据、答案采纳、重要性与披露四项均被观察到时才判定遗漏成立,证据不完整则保持未决而非视为独立。配套参考检查器在合成测试集上复现全部 81 种三态谓词组合,并拒绝 192 条故意构造的畸形记录。作者强调这些是有限契约一致性结果,非检测器准确率,语义效度与部署收益仍需独立标注、留出评估与配对效用测试验证。
研究用维基百科游戏测试语言模型的信息检索能力,让模型仅靠文章链接抵达目标条目,并在五种维基百科语言和五个学术文献数据集上对比了句嵌入模型与 LLM。GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 表现最佳,成功率与人类相当,但无模型显著超越人类,且性能与排名随语言和主题变化。
Web$hell 是一个将网页访问统一到单一访问模型的接口,通过 WebContract 定义的通用 schema,由 WebCompiler 把实时网页编译为可寻址的信息与动作对象,存入 WebCache 并通过共享操作集处理,为智能体提供一致、可操作且持久的网页访问。在网页搜索、网页导航与深度研究基准上的实验显示,Web$hell 以更低成本取得较强任务表现。
研究提出 CQG-Single 与 CQG-AR 两种连续查询范式,去除 Semantic IDs 的 item-token 词表、码本查找和离散束扩展,从而消除有限束解码带来的可达性约束,并让每个编码物品可直接通过稠密或近似最近邻检索打分。
研究者提出 SAFE-QE,一种免训练、与检索器无关的查询扩展方法,通过语料条件下的跨上下文可复现性对候选扩展词打分,将随机查询上下文中反复出现但伪相关集不支持的词判定为幻觉关联产物并降权。
研究在 45,000 项美国专利上训练双曲与欧氏 VAE(96 次运行、6 个种子),双曲模型在 3,000 次查询的 top-10 结果中检索到真正跨类别现有技术的比例为 18.76%,比欧氏模型的 12.34% 高 52%。
研究发现,文档质量分类器得分约一半的差异来自不同 host 之间,且同一 host 少量页面即可预估其余页面质量。模拟显示,用中心性指标选择抓取哪些 host 相比随机排序收益有限,而先采样少量页面再对高分 host 加深抓取,每次抓取获得的高质量页面是均匀深度或中心性分配的数倍。
SEEDS 是一个预览引导的证据准入框架,让搜索智能体在每一步检索后先查看候选文档的轻量预览,再结合当前推理状态自行决定哪些、以及多少候选应被完整读取,而非按固定或排名前缀策略消费证据。在九个知识密集型 QA 基准上,覆盖本地语料与实时网页搜索,SEEDS 一致提升搜索效果并大幅减少完整证据消耗,且能直接接入现有推理智能体或通过学习进一步优化。
Crawlable 审计 46 个可测量网站发现,AI 可读性平均分仅 55,最高 75 分,无一达到 90 分以上的 A 级。46 个站点中 36 个未在 robots.txt 中指名任何 AI 爬虫,11 个完全没有 llms.txt,14 个站点至少有一个页面是空 JavaScript 壳。
复旦大学与上海浦东密码学研究院对 ChatGPT、Google AI、Perplexity、DeepSeek 等 10 个主流 AI 搜索平台开展内容发布实验,发现各平台存在显著信源偏好、头部集中及跨平台重叠度低的问题,Jaccard 均值仅 0.201。研究为 GEO 优化策略提供了数据支持。
一篇 arXiv 论文提出测量框架,用于识别和衡量低门槛发帖进入 AI 搜索引用的路径。研究覆盖 10 个 AI 搜索平台、17,211 条引用实例和 6,356 个独立来源域名,发现引用集中在平台特定来源,前 20 个域名占各平台引用的 20.5% 至 70.8%。
NativeScope 提出一种"先定范围再排序"的检索方法,将查询表示为 q -> (A, r, B),通过 belonging、before、after 算子用锚点 A 和关系 r 先选出原生单元,再让目标词 B 只在选中范围内对 chunk 排序。
Project Greenhouse 探索仅用少量 GPU 从零预训练加监督微调,构建完全开放、自主可控的智能体搜索模型,不依赖第三方开源权重骨干。团队发布 Gaggle 系列模型 checkpoint 及数据、代码与配置,支持训练全流程的透明独立复现。
研究用语言模型离线评估电商搜索页面布局决策,即是否在特定位置插入次级商品堆栈。对比直接提示词评判、提示词衍生特征和表征三种方法,表征方法在预测用户参与度上持续优于提示词评判,可作为电商搜索离线布局评估的可靠基础。该工作已被 ACM RecSys 2026 的 OARS Workshop 接收。
一种名为 Bag of Decisions 的重排序方法,让 LLM 为每个查询生成一组 yes/no 问题作为相关性评分标准,再用 Jev 计算每个问题为真的概率并求和作为重排序分数。在 Wayfair WANDS 和 Amazon ESCI 两个电商数据集上,该方法平均 NDCG 分别达到 0.610 和 0.360,均高于 BM25 和 Jev 直接重排序。
研究团队预览了新基准 ATLAS,包含 547 个深度与广度研究任务,用于评估智能体在依赖网络搜索的真实工作流中的准确性与完整性。测试显示,成本低于 $1/任务的搜索智能体行 F1 均未超过 0.5,即便最贵的智能体也漏掉约 1/3 的黄金结果;在固定模型框架下,Exa 定义了成本-性能帕累托前沿,不同搜索后端得分相差 16%。
一项覆盖 1,056 家真实企业、37,927 次智能体购买提问旅程的研究提出,AX(agent experience,智能体体验)正在取代 AEO 成为决定 AI 推荐的关键。
STATIC 将前缀树展平为静态 CSR 稀疏矩阵,把不规则树遍历转为全向量化稀疏矩阵运算,实现 TPU/GPU 上的高效约束解码。它已部署在服务数十亿用户的大规模工业视频推荐平台,每步仅 0.033 ms、占推理时间 0.25%,相比 CPU trie 提速 948 倍,相比硬件加速二分查找基线提速 47-1033 倍。据称这是严格约束生成式检索的首次生产级部署,代码已开源。
研究从理想扩展查询(IEQ)与可分性两个角度解释查询扩展(QE)性能差异,并提出可分性度量及近似 IEQ 的实用公式。在 TREC Robust、TREC DL 2019-2022 passage 及 TREC DL 2019-2020 document 集合上的实验显示,扩展查询越接近理想扩展查询,检索效果越好,相关与非相关文档的可分性则提供了互补解释视角。
一项 arXiv 研究显示,检索多样化对 RAG 的效果主要取决于候选池冗余度:在干净候选池上会损害相关性、证据覆盖与答案质量,但在多证据任务中冗余导致最近邻检索重复选段时反而有益。
针对生成式信息检索(GIR)中 DocID 语义设计缺乏系统分析的问题,该研究对语义 ID 空间展开系统性考察,指出现有方法依赖计算昂贵的下游评测,阻碍了快速迭代。研究聚焦"什么样的 DocID 才算好"这一核心问题,为语义 ID 设计提供更高效的分析路径。