arXiv cs.AI· Jia-Dong Zhang·· 10 天前AI 评分22
VALSE：面向大语言模型高效推理的垂直自适应层跳过方法
VALSE: Vertical Adaptive Layer Skipping for Efficient Inference in Large Language Models
AI 导读
论文提出 VALSE，一种按样本、非连续的层跳过方法：由轻量难度估计器从前几层为每个输入打分，逐层门控选择性跳过冗余层，包括任意中间层而保留更深层，只为每个输入激活必要深度。理论部分给出 Expected FLOPs 闭式公式，并证明跳层模型严格包含于全层函数空间且可有效近似，同时揭示 VALSE 与 MoE 的结构对偶性。可行性已在原型规模上初步评估。
正文 · AI 翻译
摘要：本文为垂直自适应层跳过建立了理论框架，证明了三个基础性结果：(i) 期望 FLOPs 公式（定理 2），给出了任意逐样本跳过方案的计算成本作为逐层跳过概率函数的闭式表达式；(ii) 函数空间超集（定理 10）与严格包含（定理 11）定理，表明跳层模型严格包含于——却能有意义地逼近——全层函数空间，并给出了一个显式的分离示例；(iii) VALSE 与专家混合架构之间的结构对偶性（命题 6），将垂直深度方向稀疏性定位为水平宽度方向稀疏性的正交对应物。在此理论基础上，我们提出 VALSE（面向效率的垂直自适应层跳过），一种逐样本、非连续的层跳过方法：轻量级难度估计器从前几层对每个输入进行评分，逐层门控选择性地跳过冗余层——包括任意中间层，同时保留更深的层——从而为每个输入仅激活必要的深度，其可行性已在原型规模上初步评估。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07606 [cs.AI] |
| （或 arXiv:2610.07606v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07606 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jia-Dong Zhang [查看电子邮件]
[v1]
2026年10月6日星期二 01:47:40 UTC（46 KB）
来源：arXiv cs.AI · arxiv.org