arXiv cs.CL· Qince Luan, Jianhui Xu, Yang Xu·· 12 小时前AI 评分29
谱平滑与尖峰扰动重塑大语言模型的能力分布与选择性任务表现
Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models
AI 导读
研究对 Llama 和 Qwen 五个开源指令模型的 up_proj 与 down_proj 矩阵施加谱平滑与尖峰扰动，在保持奇异向量和奇异值几何均值不变的前提下改变谱分布。结果显示扰动带来的能力变化呈结构化而非随机：大幅正向扰动更稳定地抑制语言与演绎推理表现，适度负向扰动有时能提升事实性或局部任务表现，敏感度随模型家族、评测模块和层间谱不均衡程度显著变化。
正文 · AI 翻译
摘要：奇异值谱在 transformer 前馈投影中编码了重要的结构，但其在下游行为中的因果作用仍未得到充分探索。我们研究了针对 up_proj 和 down_proj 矩阵的事后谱平滑与尖峰干预。正向扰动会拉大与几何均值的偏差，使大奇异值更大、小奇异值更小（尖峰化），反向扰动则相反。该干预保持奇异向量和奇异值的几何均值不变。在五个开放的 Llama 和 Qwen 指令模型上，我们在能力标注的子任务、标准与思维链推理基准、评判打分的真实性、幻觉与安全任务，以及 TRAIT 人格探针上评估了受扰动的系统。为解释分数变化，我们在由事实知识、语言理解和演绎推理构成的三维能力基中拟合响应。所诱导的变化表明敏感性是结构化的而非纯随机的：较大的正向扰动更可靠地抑制语言和演绎响应，适度的负向扰动有时能在所评估的网格上提升事实性或任务局部性能，且敏感性因模型家族、基准模块和底层逐层谱不等性而差异显著。这些结果将谱扰动定位为一种轻量级干预手段，用于探查大型语言模型中能力的组织与权衡方式。
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.30676 [cs.CL] |
| （或 arXiv:2610.30676v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30676 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qince Luan [查看邮箱]
[v1]
2026年10月22日 星期四 03:42:07 UTC (5,997 KB)
来源：arXiv cs.CL · arxiv.org