跳到正文
arXiv cs.CL· Hardik Ruparel, Raj Kumar Pandey, Pramod Kumar·· 11 小时前AI 评分31

GRaSP:面向地理分布式 RAG 的延迟感知优化

GRaSP: Latency-Aware Optimization for Geo-Distributed Retrieval-Augmented Generation

AI 导读

研究者提出 GRaSP,一种无需重训练的即插即用重打分层,按延迟衰减相关性并可选加入成本惩罚,在地理分布式 RAG 中优化检索选择。其基础形式是划分拟阵上的线性目标,可由 O(N log N) 贪心算法最优求解,仅在附加出网预算时才变难。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:检索增强生成(RAG)正越来越多地在地理分布的云和边缘基础设施上提供服务,在这些环境中,广域延迟、跨区域出口成本和数据驻留规则与检索质量相互竞争。传统流水线仅按语义相似度排序,忽略了内容所在位置,从而抬高了尾部延迟和成本。我们将 Geo-RAG 选择问题(GRaSP)形式化,这是一种即插即用的重打分层,它按延迟衰减相关性,并在基数预算和每区域上限下加入可选的成本惩罚,且无需重新训练。我们首先确定其复杂度:基础形式是划分拟阵上的线性目标,可由 O(N log N) 贪心算法最优求解,而非背包式建模所暗示的 NP-hard,只有在附加出口预算下才会出现困难。在模拟四区域广域网、基于 Natural Questions 语料库(268 万段落)的五节点 CloudLab 测试床上,GRaSP 的收益取决于放置方式:在均匀放置下,它以可忽略的质量代价降低获取延迟;在主题式(类驻留)放置下,它描绘出一条召回率-延迟帕累托前沿,优于仅相关性、最近 k 和延迟预算基线。在中等延迟设置下,GRaSP 将 P90 获取延迟降低 41%,同时保留仅相关性方案 78% 的召回率,选择开销低于毫秒,在 200 查询/秒下保持稳定。研究结果在四个公开 BEIR 基准上具有泛化性。在端到端问答中,GRaSP 将上下文获取延迟降低 43%,同时与仅相关性检索的绝对 EM 差距保持在 0.062 以内。
评论: 已被第 4 届 ACM SIGIR 亚太信息检索国际会议(SIGIR-AP 2026)接收
主题: 信息检索(cs.IR);人工智能(cs.AI);计算与语言(cs.CL)
ACM 分类: H.3.3;H.3.4;C.2.4;I.2.7
引用为: arXiv:2610.26938 [cs.IR]
  (或本版本使用 arXiv:2610.26938v1 [cs.IR])
  https://doi.org/10.48550/arXiv.2610.26938

由 DataCite 颁发的 arXiv DOI(待注册)

相关 DOI: https://doi.org/10.1145/3848000.3850202

链接到相关资源的 DOI

提交历史

来自:Raj Kumar Pandey [查看电子邮件]
[v1] 2026 年 10 月 17 日星期六 23:20:16 UTC(75 KB)

来源:arXiv cs.CL · arxiv.org