ZHA提出树状索引器次二次注意力方法
热点事件持续更新
ZHA提出树状索引器次二次注意力方法
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Leon Lufkin等作者提出ZHA（Zyphra Hierarchical Attention），一种基于分层树状索引器的渐近次二次稀疏注意力方法。该方法在KV cache上构建递归压缩的key摘要树，查询自顶向下遍历以检索稀疏key子集，并通过迭代增加树深度，使路由与最终注意力的总成本随序列长度呈次线性增长。 作者称，ZHA只需在数十亿token上进行短期的KL蒸馏训练，就能低成本地应用于现有预训练模型，并在长上下文检索以及推理、数学、智能体编程等评测任务上保持性能。
AI 根据报道生成 · 57 分钟前更新
最新进展11月2日 13:00
ZHA：基于分层树状索引器的次二次注意力方法报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.CLZHA：基于分层树状索引器的次二次注意力方法
论文提出 Zyphra Hierarchical Attention（ZHA），一种基于分层树状索引器的渐近次二次稀疏注意力方法。ZHA 在 KV cache 上构建递归压缩的 key 摘要树，查询自顶向下遍历以检索稀疏 key 子集，通过迭代增加树深度使路由与最终注意力的总成本随序列长度次线性增长。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。