arXiv cs.CL· Thomas Vaitses Fontanari, Maximo Eduardo Rulli, Federico Alvetreti, Donatella Genovese, Simone Scardapane·· 10 天前AI 评分23
LRCC：用条件计算泛化低秩压缩
LRCC: Generalizing Low-Rank Compression with Conditional Computation
AI 导读
研究者提出 Low-Rank Conditional Computation（LRCC），在每个 Transformer 块训练一个轻量 router，在冻结的低秩因子构成的嵌套路径中选择，实现 token 级条件计算。
正文 · AI 翻译
摘要：低秩压缩通过将线性变换替换为低秩分解，降低了预训练语言模型的成本。然而，传统方法在推理时使用固定的秩分配，无论输入 token 是什么都分配相同的计算量。我们提出了低秩条件计算（LRCC），它通过为每个 Transformer 块训练一个轻量级路由器，在一小组嵌套的低秩路径中进行选择，从而为预训练模型添加依赖于 token 的计算。在训练过程中，低秩因子保持冻结，仅优化路由器。我们在 Llama 和 Qwen 模型上针对语言建模和零样本下游任务评估了 LRCC。在相同的平均活跃参数预算下，LRCC 相比静态低秩压缩提升了预测性能，其中在 Llama-2-7B 上，平均下游准确率相比静态方法提升了 7.6 个百分点。在匹配 batch-size-1 解码延迟的情况下，LRCC 在 Llama-3.2-1B 上同时提升了下游困惑度和准确率，并在 Llama-2-7B 上保持竞争力，且无需专用内核。最后，我们通过分析路由器的路径选择，评估了按 token 分配路径的有效性。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.08858 [cs.CL] |
| （或 arXiv:2610.08858v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08858 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Thomas Vaitses Fontanari [查看电子邮件]
[v1]
2026年10月5日星期一 09:01:51 UTC（335 KB）
来源：arXiv cs.CL · arxiv.org