arXiv·· 14 天前AI 评分24
SharpDraft：用基数感知 Query 缩放加速长上下文投机解码
SharpDraft: Accelerating Long-Context Speculative Decoding with Cardinality-Aware Query Scaling
AI 导读
SharpDraft 是一种免训练方法，通过基数感知的 Query 缩放缓解注意力质量稀释问题，从而加速长上下文投机解码。该方法针对上下文增长时 softmax 在更多可见 Key 上归一化、导致高分 Key 上的注意力质量下降的现象，无需在线自适应的计算开销。
来源：arXiv · arxiv.org