跳到正文
热点事件持续更新

研究者提出输出感知的逐层KV Cache驱逐方法LaProx

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

研究者 Tho Mai 与 Joo-Young Kim 提出 KV Cache 驱逐策略 LaProx,将驱逐问题从逐头权重平均重构为输出感知的层级矩阵乘法近似问题,显式建模注意力图与投影 value 状态之间的乘性交互,以量化 token 贡献并计入头间依赖。 据研究者称,这是首个为 token 分配全局可比重要性分数的统一驱逐策略。目前该工作以预印本形式发布,尚未见经同行评审验证的效果数据。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. arXiv cs.CL
    LaProx:将 KV Cache 驱逐重构为输出感知的层级矩阵乘法近似问题

    研究者提出 LaProx,将 KV Cache 驱逐从逐头权重平均重构为输出感知的层级矩阵乘法近似问题,显式建模注意力图与投影 value 状态之间的乘性交互,并给出首个为 token 分配全局可比重要性分数的统一驱逐策略。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。