Virginia Tech 提出 Hybrid Latent Attention，循环模型吞吐提升 7.4 倍

Virginia Tech 论文提出 Hybrid Latent Attention，将较旧的 token 缓存为紧凑向量供注意力直接读取，使循环 LLM 在单 GPU 上可容纳的请求量提升 4.0 至 8.8 倍，且精度损失很小。