arXiv cs.AI· Shreya Sajid, Anna Vettoruzzo, Joaquin Vanschoren·· 6 天前AI 评分29
AudioTETRIS：用过渡重要性信号做 token 消除，提升音频 LLM 效率
AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs
AI 导读
AudioTETRIS 是一个免训练的两阶段音频 token 压缩框架，利用音频编码器的表示几何作为声学先验，在 LLM 解码器各层计算逐 token 融合分数并渐进式 top-k 选择，无需额外训练或辅助模型。
正文 · AI 翻译
摘要：大型音频语言模型（LALMs）在语音-文本任务上表现强劲，但标准音频编码器即使对短音频片段也会产生数百个 token。由于自注意力随序列长度呈二次方增长，这大幅增加了推理时的计算量。当前无需训练的 token 压缩方法仅基于粗略的注意力或特征相似度来剪枝或合并 token。然而，将音频 token 视为通用的各向同性特征会抹平频谱过渡，破坏解码语音所必需的细粒度音素过渡。相比之下，语音信号表现出高度结构化的时间模式，其信息密度在声学过渡处达到峰值。我们提出 AudioTETRIS，一个无需训练的两阶段框架，在应用基于注意力的压缩之前，利用音频编码器的表示几何作为 token 重要性的声学先验。AudioTETRIS 不在编码阶段后丢弃编码器结构，而是将该先验直接传播到 LLM 解码器中，以计算每个 token 的融合分数。该分数驱动跨解码器层的渐进式 top-$k$ token 选择，无需额外训练或辅助模型。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上评估，AudioTETRIS 仅使用 25% 的音频 token 即可在多项语音任务上保持接近未压缩的性能，在中等压缩率下达到或超过全 token 准确率，并持续优于现有的无需训练基线。
| 主题： | 声音（cs.SD）；人工智能（cs.AI）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.13600 [cs.SD] |
| （或 arXiv:2610.13600v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13600 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shreya Sajid [查看电子邮件]
[v1]
2026年10月9日星期五 13:49:22 UTC（1,450 KB）
来源：arXiv cs.AI · arxiv.org