跳到正文
arXiv cs.AI· Jiacheng Liang, Yuhui Wang, Tanqiu Jiang, Ting Wang·· 3 天前AI 评分29

LaCache:面向 LLM 服务的鲁棒语义缓存

LaCache: Robust Semantic Caching for LLM Serving

AI 导读

LaCache 是一种面向 LLM 服务的语义缓存重设计,将完整性校验从查询转移到响应,额外检查查询前 k 个推测解码 token 的缓存命中,从而可证明地防御缓存碰撞攻击。分析证明其能以高概率检测产生语义不同响应的攻击,跨多种 LLM 和基准的评测显示攻击命中率降至接近零,同时保留超过 90% 的正常缓存效用。该工作入选 NeurIPS 2026。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语义缓存通过复用响应来回答语义相似的查询,在 LLM 服务中日益普及,可提供更快的响应并降低成本。然而,现有方案从根本上易受缓存碰撞攻击的影响,即攻击者通过注入对抗性查询污染缓存,从而破坏对后续合法请求的响应。我们提出 LaCache,一种简单而有原则的语义缓存重新设计,可为此类攻击提供可证明的防御。关键洞察在于,虽然攻击者完全控制对抗性查询,但对相应的 LLM 生成响应的控制要弱得多,因为该响应必须同时满足多个相互竞争的约束。因此,LaCache 将完整性检查从查询转移到响应:不仅检查查询的缓存命中,还额外检查其前 $k$ 个推测解码 token 的缓存命中。在分析上,我们证明 LaCache 能以可证明的高概率检测出任何产生语义不同响应的缓存碰撞攻击。在实证上,跨多种 LLM 和基准的评估证实,LaCache 将攻击命中率降至接近零,同时保留超过 90% 的良性缓存效用。据我们所知,这项工作首次利用缓存碰撞攻击中对抗性响应的固有约束来提供可证明的安全性,为构建鲁棒的语义缓存指明了一个有前景的方向。
评论: NeurIPS 2026
主题: 人工智能(cs.AI)
引用为: arXiv:2608.01718 [cs.AI]
  (或 arXiv:2608.01718v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2608.01718

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jiacheng Liang [查看电子邮件]
[v1] 2026年8月3日星期一 05:31:24 UTC(573 KB)
[v2] 2026年10月11日星期日 01:15:59 UTC(552 KB)

来源:arXiv cs.AI · arxiv.org