arXiv cs.CL· Baran Atalar, Selly Beyene, Xutong Liu, Carlee Joe-Wong·· 11 小时前AI 评分38
面向低成本 LLM 服务的多轮语义缓存方法 CUCB-SC-MT 与 CLCB-LS-MT
Multi-Turn Semantic Caching for Low-Cost LLM Serving
AI 导读
研究提出 CUCB-SC-MT 与 CLCB-LS-MT 两种多轮语义缓存方法，从评判反馈中学习"复用风险"，按预算选择要缓存的对话状态。在 SocraTeach 数学辅导和 Taskmaster-3 电影票务对话上，两者在各缓存预算下损失均低于 ContextCache、ElastiCache 与 vCache 的多轮变体及单轮语义缓存。
正文 · AI 翻译
摘要：语义缓存通过复用已存储的相似请求响应，降低大语言模型（LLM）的推理服务成本。在多轮对话中，缓存响应是否可接受取决于双方对话的历史记录，而请求与历史记录的嵌入相似度对此预测效果不佳（在五个工作负载上 AUC 为 0.62--0.74）。因此，我们从评判反馈中学习\emph{复用风险}，即缓存响应不可接受的概率，并通过权衡复用所避免的生成成本与不可接受复用的代价，选择预算内的对话状态集合进行缓存。我们提出 CUCB-SC-MT，它从已记录的对话中学习缓存并具有次优性保证；以及 CLCB-LS-MT，它在线学习，并在对话状态重复出现时对 $N$ 个请求具有 $\tilde O(\sqrt N)$ 遗憾。在数学辅导（SocraTeach）和电影购票（Taskmaster-3）对话上，两者在任意缓存预算下均比先前的语义缓存方法取得更低的损失：ContextCache、ElastiCache 和 vCache 的多轮变体，以及单轮语义缓存。在 1,000 个缓存条目下，CLCB-LS-MT 通过可接受的复用避免了 35--41\% 的生成成本，而基线最多为 22--25\%，并将估计的服务延迟降低了 19--35\%。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2611.01077 [cs.LG] |
| （或 arXiv:2611.01077v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01077 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Baran Atalar [查看邮箱]
[v1]
2026年10月31日 星期六 16:16:16 UTC（797 KB）
来源：arXiv cs.CL · arxiv.org