arXiv cs.CL· Baran Atalar, Xutong Liu, Jinhang Zuo, Siwei Wang, Wei Chen, Carlee Joe-Wong·· 10 天前AI 评分23
面向低成本 LLM 服务的连续语义缓存框架
Continuous Semantic Caching for Low-Cost LLM Serving
AI 导读
研究者提出首个面向连续查询空间的语义 LLM 响应缓存理论框架，用动态 ε-net 离散化结合 Kernel Ridge Regression 量化估计不确定性，并将部分反馈泛化到连续语义邻域。
正文 · AI 翻译
摘要：随着大语言模型（LLM）日益普及，缓存响应以便具有语义相似查询的用户能够复用，已成为降低推理成本和延迟的关键策略。现有缓存框架提出通过假设一个有限且已知的离散查询全集，并学习其服务成本和到达概率，来决定缓存哪些查询响应。然而，随着 LLM 用户群和查询池的扩大，这种假设变得越来越不成立：现实世界中的 LLM 查询位于一个无限连续的嵌入空间中。在本文中，我们建立了首个在不确定性下连续查询空间中语义 LLM 响应缓存的严格理论框架。为弥合离散优化与连续表示空间之间的鸿沟，我们引入了动态 $\epsilon$-网离散化与核岭回归相结合的方法。该设计使系统能够形式化地量化估计不确定性，并在连续的语义查询邻域间泛化关于 LLM 查询成本的部分反馈。我们开发了离线学习和在线自适应算法，并针对降低因更改缓存响应而产生的切换成本进行了优化。我们证明，我们的在线算法相对于最优预言机实现了次线性遗憾界，该界可退化为离散查询模型的现有界。大量实证评估表明，我们的框架能够很好地逼近连续最优缓存，同时与现有方法相比降低了计算和切换开销。
| 评论： | 已被 ACM MobiHoc 2026 接收 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用格式： | arXiv:2604.20021 [cs.LG] |
| （或使用 arXiv:2604.20021v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2604.20021 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Baran Atalar [查看邮箱]
[v1]
2026年4月21日星期二 21:56:43 UTC（688 KB）
[v2]
2026年10月6日星期二 19:32:25 UTC（1,780 KB）
来源：arXiv cs.CL · arxiv.org