arXiv cs.CL· Wei Wang, Wei Jiang, Ziran Liu·· 10 天前AI 评分22
CHASE：面向几何感知模型工程的通道对齐结构利用方法
CHASE: Channel-Aligned Structure Exploitation for Geometry-Aware Model Engineering
AI 导读
研究者提出 CHASE（Channel-Aligned Structure Exploitation），将几何与谱对齐（GSA）识别出的谱集中、物理通道对齐等结构直接用于模型设计，覆盖模型修改、重构与压缩六类应用。
正文 · AI 翻译
摘要：几何与谱对齐（GSA）通过谱集中、物理通道对齐、支撑结构以及奇异基的变化来刻画训练后的网络。在本文中，我们提出 CHASE（通道对齐结构利用），以在实际模型设计中使用这些结构。CHASE 涵盖模型修改、重配置和压缩方面的六种应用。CORA、COEC 和 CORAM 将 GSA 应用于参数高效微调、结构化剪枝补偿和模型合并。我们进一步开发了三种新方法。CAGA 使用 GSA 识别可共享 KV 表示的多头注意力头，并通过几何对齐和低秩子空间提取构建共享的键头和值头。SAKV 使用 GSA 确定哪些相邻层可以共享低秩 KV 缓存表示，以及每个层组保留的秩。CAPS 使用 GSA 谱结构对输出神经元进行分组，并为每组分别选择保留的输入通道。CORA、COEC 和 CORAM 的结果确立了 GSA 在自适应、剪枝补偿和模型合并方面的有效性。CAGA 上的实验表明，几何共享头构建显著改进了 MHA 到 GQA 的转换，而 SAKV 和 CAPS 在 KV 缓存压缩和结构化剪枝方面优于代表性基线。这些结果表明，GSA 识别出的结构可直接用于为一系列模型操作设计方法。
| 评论： | 26 页，9 个表格 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| MSC 分类： | 68W99, 68W40 |
| 引用为： | arXiv:2610.09476 [cs.LG] |
| （或 arXiv:2610.09476v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09476 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Wei Jiang [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 05:33:00 UTC（64 KB）
来源：arXiv cs.CL · arxiv.org