谱扰动改变LLM能力分布

Qince Luan、Jianhui Xu、Yang Xu 提交的论文对 Llama 和 Qwen 五个开源指令模型的 up_proj 与 down_proj 矩阵施加谱平滑与尖峰扰动，在保持奇异向量和奇异值几何均值不变的前提下改变谱分布，发现能力变化呈结构化而非随机。 结果显示，大幅正向扰动更稳定地抑制语言与演绎推理表现，适度负向扰动有时能提升事实性或局部任务表现；敏感度随模型家族、评测模块和层间谱不均衡程度显著变化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。