用 LLM 驱动的进化搜索优化生成式检索的语义索引

查看 PDF HTML（实验性）

摘要：生成式检索（GR）将搜索和推荐视为离散语义标识符（SID）的自回归生成。SID 设计在很大程度上决定了 GR 的质量，但其离散、相互依赖的组件（SID 构建、冲突处理、解码和训练）无法通过梯度进行端到端优化，且在很大程度上仍为手工设计。我们引入了一个框架，通过 LLM 驱动的进化程序搜索来改进这些组件，据我们所知，这是该方法在 GR 上的首次应用。一个本地部署的开源权重 31B 模型对可执行的 GR 组件进行变异，因此不使用专有 LLM API；一个 100 万参数的代理解码器提供快速反馈，以替代反复训练 10 亿参数的目标生成器。在 NQ320K 上的 21 个 SID 程序中，代理与目标的 Recall@100 显示出很强的秩相关性（Spearman $\rho = 0.90$）。在此代理的引导下，进化在固定训练配方下改进了 NQ320K、MSMARCO300K 和一个多语言电商数据集上的种子 GR。在 NQ320K 上，联合进化 SID 构建和冲突处理将 Recall@1 从 55.8% 提升到 59.3%，将 Recall@100 从 85.8% 提升到 90.6%。一项组件研究表明，代理的可靠性取决于所进化的内容：改进可可靠地迁移到语义索引，但无法迁移到生成器的训练目标或完整流水线。因此，只要为所选搜索空间确立了代理可靠性，LLM 驱动的进化搜索就是 GR 设计的一种实用工具。

提交历史

来自：Jinming Nian [查看邮箱]
[v1] 2026年10月20日星期二 17:27:46 UTC（234 KB）