arXiv cs.AI· Lianjun Liu, Tiantian Zheng, You Huang, Weiqi Yan, Mingte Qiu, Huazhong Liu, Xiaofeng Zhu, Yunshan Zhong·· 3 天前AI 评分27
HHR：面向高效 LLM 生成的分层哈希检索
HHR: Hierarchical Hash Retrieval for Efficient LLM Generation
AI 导读
针对哈希检索中汉明距离与注意力相关性不匹配的问题，研究者提出分层哈希检索（HHR），通过 Geometry-Aware Key Routing（GKR）和 Learned Hash Projection（LHP）由粗到细提升检索精度。
正文 · AI 翻译
摘要：高效的长上下文推理对于大语言模型（LLM）至关重要，但它构成了严重的计算瓶颈。基于哈希的检索通过将查询和键编码为二进制码并使用汉明距离进行键选择，提供了一种高效的替代方案。然而，这导致汉明距离与注意力相关性之间出现严重不匹配。查询-键 logits 同时取决于方向相似度和特征幅度，而哈希二值化丢弃了幅度信息，从而导致低 logit 键的假阳性检索和高 logit 键的假阴性遗漏。为了解决这些失败，我们提出了分层哈希检索（HHR），这是一个由粗到细的框架，通过几何感知键路由（GKR）和学习哈希投影（LHP）逐步提高检索精度。GKR 学习逐头正交变换以重新分配特征幅度，并推导出更具判别力的页级 logit 边界，从而能够有效剪枝低 logit 键，同时保留重要候选。随后，LHP 学习逐头投影空间，使汉明距离与真实的查询-键相关性排序对齐，以实现细粒度检索。通过结合 GKR 和 LHP，HHR 抑制了假阳性并恢复了假阴性，显著提高了基于哈希的稀疏注意力的保真度。在不同 LLM 和基准上的大量实验表明，HHR 相比现有方法取得了更优的性能。例如，在 LongBench 上，HHR 将平均得分提高了 1.10 分，并且在 128K 上下文长度下，对于 Llama-3.1-8B-Instruct 实现了高达 3.30 倍的解码加速和 2.83 倍的端到端加速。代码公开于 此 https URL。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.01230 [cs.AI] |
| （或 arXiv:2610.01230v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.01230 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lianjun Liu [查看电子邮件]
[v1]
2026年10月1日星期四 07:31:44 UTC（1,785 KB）
[v2]
2026年10月11日星期日 08:33:58 UTC（1,785 KB）
来源：arXiv cs.AI · arxiv.org