arXiv cs.CL· Raghavv Goel, Sudhanshu Agrawal, Mukul Gagrani, Risheek Garrepalli, Mingu Lee·· 6 天前AI 评分22
通过激活波分析 LLM 隐藏状态的信息与几何特性以改进投机解码
Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
AI 导读
研究者提出一套基于信息量与多样性双准则的多层隐藏状态选择框架，用于投机解码。该方法通过矩阵熵衡量信息量、用 CKA 量化多样性，并引入 token-entropy filtering 剔除低预测熵 token 对应的隐藏状态。在 EAGLE3 风格的投机解码中，所选层组合优于包括默认 [2, N//2, N-3] 规则在内的固定基线。
正文 · AI 翻译
摘要：大型语言模型（LLM）不同层的解码器隐藏状态通常编码互补信息。然而，现有的推测解码方法通常依赖于使用固定的、基于位置的启发式方法选择的一小部分目标模型层。选择最优层子集本质上是一个组合问题，即使对于中等深度的模型，穷举评估也不可行。在这项工作中，我们提出了一个用于推测解码的多层隐藏状态选择的原则性框架，基于两个互补标准：信息量（通过矩阵熵分析衡量）和多样性（通过中心核对齐（CKA）量化）。我们研究了逐层香农熵、隐藏状态拼接下的聚合熵，以及跨深度的成对 CKA 动态，揭示了解码器表示中不同的几何和信息分区。受这些发现启发，我们提出了基于熵和 CKA 的层选择算法，偏好既高度信息丰富又冗余最小的隐藏状态集。作为该框架的一部分，我们引入了 token 熵过滤，它移除与低预测熵 token 相关的隐藏状态，从而提高层选择统计的质量。在 EAGLE3 风格的推测解码中，我们选择的集合优于固定基线选择，包括默认的 $[2, N//2, N-3]$ 规则，同时更清晰地解释了为什么某些默认设置仍能保持竞争力。我们的结果为推测解码的多层隐藏状态选择提供了实用方案，对 LLM 解码器状态的几何和信息提供了见解，并为将类似分析扩展到相关应用奠定了基础。
| 评论： | 被多个 Neurips 研讨会接收：Axiom、GDDL 和 PriGM |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.12939 [cs.CL] |
| （或 arXiv:2610.12939v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12939 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Raghavv Goel 先生 [查看电子邮件]
[v1]
2026年10月9日星期五 03:38:26 UTC（1,550 KB）
来源：arXiv cs.CL · arxiv.org