跳到正文
arXiv cs.AI· Benjamin Clavi\'e, Herumb Shandilya, Hanna Lichtenberg, Aamir Shakir, Makoto P. Kato·· 4 小时前AI 评分31

DealRank:为 Listwise LLM 重排序设计更优调度策略

Deal With It: On Better Schedules for Listwise Reranking

AI 导读

研究提出 DealRank,一种按检索器排名轮转发牌的 listwise LLM 重排序调度方案,在六个 LLM 上两轮内平均仅落后最佳调度 0.1 nDCG@10 分。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:Listwise LLM 重排器无法在一次调用中可靠地对数百篇文档进行排序,而是依赖调度方案来编排其调用。并行调度将候选文档分成若干组,并从每组中推进固定配额。当某一组包含的顶级段落数量超过其配额时,部分段落会被截断,从而需要昂贵的修复调用。我们表明,在这种配额可能成为约束的情况下,候选文档的划分方式至关重要;并且,在预期截断数上,此时最佳的划分方式是按照检索器排名像发牌一样轮流分配。尽管这一概念并不新颖,但发牌方式一直未得到分析。我们证明,在简单的检索器模型下,任何采用等配额的划分方式在平均意义上都不会比发牌方式截断更少的真实前十条结果;并且随着检索器性能的提升,连续分块方式会截断更多。DealRank 是我们分析所允许的最简单调度方案,在六种 LLM 上、两轮调用内,其平均 nDCG@10 与最佳调度方案的差距在 0.1 分以内。在首轮并发调用最多一千个候选文档时,它始终比 BlitzRank 快 1.1 至 1.4 倍。在此场景下,它需要三轮调用,且比滑动窗口快十一倍。在 BlitzRank 等现有调度方案中,发牌方式将修复调用从占查询的 59% 降至 14%,在质量无显著变化的情况下改善了延迟。随机划分在配额为四时如预测般表现相当,但结果受随机种子影响,并且在配额为一、使用稠密检索器时落后 1.3 个 nDCG@10 分。
学科: 信息检索(cs.IR);人工智能(cs.AI)
引用为: arXiv:2611.22392 [cs.IR]
  (或使用 arXiv:2611.22392v1 [cs.IR] 查看此版本)
  https://doi.org/10.48550/arXiv.2611.22392

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Benjamin Clavié [查看邮箱]
[v1] 2026年11月17日星期二 08:42:11 UTC(3,016 KB)

来源:arXiv cs.AI · arxiv.org