arXiv·· 13 天前AI 评分31
Request Order Matters：滚动智能体选择性 KV-Cache 复用中的缓存历史敏感性
Request Order Matters: Cache-History Sensitivity in Selective KV-Cache Reuse for Rolling Agents
AI 导读
针对滚动智能体非前缀 KV-Cache 复用，研究发现选择性重计算下的持久缓存复用存在历史依赖性：在滚动智能体负载中，同一未变提示词会因先前处理的请求不同而给出不同答案。在 5% 重计算预算下，按文档对齐的重计算可降低不同请求顺序间的答案差异。
来源：arXiv · arxiv.org