arXiv cs.CL· Vedant Pandhare, Piyush Dhoka·· 2 天前AI 评分22
校准语言如何影响多语言模型的 Block Influence 剪枝
Calibration Language Shapes Block-Influence Pruning in Multilingual Language Models
AI 导读
研究在 Qwen2.5-1.5B-Instruct、Llama-3.2-1B 和 Gemma-2-2B 上发现，用英语校准的 Block Influence（BI）会系统性低估印度语言文本的深层网络活动，三种印度语言的后期 block BI 比英语高 20.7-55.5%。
正文 · AI 翻译
摘要：Block Influence（BI）根据 Transformer 模块的输入-输出余弦变化对其进行排序以进行深度剪枝，但该排序依赖于校准分布。我们研究了在 Qwen2.5-1.5B-Instruct、Llama-3.2-1B 和 Gemma-2-2B 中，英语校准是否能迁移到印度语言。英语、印地语、马拉地语和泰米尔语使用互不重叠的维基百科文章进行校准和评估；每个选择器获得相同的 150 个块预算，且泰米尔语被排除在多语言聚合之外，以测试跨文字迁移。在所有三个模型中，三种印度语言的后期模块 BI 比英语高 20.7-55.5%，且每个预先声明的后期减中期的对比其 95% 自助法区间均高于零。尽管全局秩相关性很高，这种不匹配仍改变了被选中移除的低 BI 模块。在英语、印地语和马拉地语预算相等的情况下对 BI 取平均，可减轻 Qwen 在移除六个模块时以及 Gemma 在所有测试深度（包括留出的泰米尔语）上由此产生的困惑度损害。这种缓解并非普遍适用：在 Llama 上，平衡在移除两个模块时改善了印地语和马拉地语，但严重损害了泰米尔语，而更大的剪枝预算会选择相同的模块，无论校准如何都会使困惑度崩溃。秩均值与极小极大秩聚合器并不优于原始均值。这些结果支持一个诊断性主张，而非通用的剪枝规则：仅英语 BI 会系统性地遗漏印度语言文本的后期层活动，但多语言校准仍必须针对每种架构和剪枝预算进行验证。
| 评论： | 16 页，3 幅图。代码和结果：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21383 [cs.CL] |
| （或 arXiv:2610.21383v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21383 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Vedant Pandhare [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 07:01:55 UTC（82 KB）
来源：arXiv cs.CL · arxiv.org