arXiv cs.AI· Mattias D\"urrmeier, Alberto Lerner·· 11 小时前AI 评分34
从数据系统视角看 LLM 长上下文本地推理的瓶颈
Local Inference of LLMs on Long Contexts: A Data Systems Perspective
AI 导读
一项跨多代 GPU 的研究分析了 LLM 长上下文本地推理的瓶颈，发现自注意力主导运行时间，且当前自注意力结构使关键 GPU 资源显著未被充分利用，最新 GPU 往往表现最差。研究将这些瓶颈归为数据管理问题，涉及 KV cache 分页、缓存利用率与 GPU 内同步，并向数据系统社区提出后续研究方向。
正文 · AI 翻译
摘要：大型语言模型能够解决数学、编程等多种学科中的复杂问题。对于此类复杂分析任务，具有长上下文的模型表现更好。目前，长上下文模型的服务大多部署在配备多块 GPU 的强大系统上，这对大多数用户来说过于昂贵。另一种选择是本地推理，即在用户自己的机器上运行模型，这不仅能消除按 token 计费的成本和速率限制，还能让敏感数据保持私密，并让用户完全掌控所运行的模型。然而，普遍的看法是，本地 LLM 需要经过压缩（例如量化）才能在单块 GPU 上运行。在本文中，我们着手研究除容量问题之外，还有哪些限制因素阻碍了为单个用户提供长上下文模型服务。我们没有局限于在单块 GPU 上刻画单个模型，而是分析了不同模型在几代 GPU 上的表现。这使我们不仅能发现个别的瓶颈，还能揭示低效问题出现的更广泛趋势。我们的分析证实，正如预期，自注意力在长上下文推理中占据了运行时间的主导地位。更出人意料的是，我们的评估表明，当前的自注意力结构使关键的 GPU 资源显著未被充分利用，而最新的 GPU 往往得到最差的服务。这些发现中有许多本质上是数据管理问题，从 KV 缓存分页到提升 GPU 中的缓存利用率和同步，这正是我们将这项研究带给数据系统社区的原因。为了吸引该社区参与，我们以一系列实验观察的形式呈现研究结果，并为未来工作提出建议。
| 学科： | 数据库（cs.DB）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28223 [cs.DB] |
| （或本版本的 arXiv:2610.28223v1 [cs.DB]） | |
| https://doi.org/10.48550/arXiv.2610.28223 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alberto Lerner [查看电子邮件]
[v1]
2026年10月20日星期二 13:56:12 UTC（292 KB）
来源：arXiv cs.AI · arxiv.org