arXiv cs.AI· Nicolas Dufour, Elouan Gard\`es, Amil Dravid, Patrick P\'erez, Loic Landrieu·· 13 小时前AI 评分31
无需权重扰动：重新审视 Neural Thickets 假说
Rethinking Neural Thickets Without Weight Perturbations
AI 导读
研究复现了 Neural Thickets 报告的增益，但发现仅扰动单个 decoder block 即可恢复大部分提升，完全冻结模型并给输出 logits 加随机偏置，在多数推理任务上就能匹配甚至超过全权重扰动。
正文 · AI 翻译
摘要：神经灌丛（Neural Thickets）假说认为，预训练语言模型位于权重空间中任务特定专家的密集邻域内，随机高斯扰动可以揭示这些专家。我们复现了所报告的性能提升，但表明这些提升并不需要这种几何解释。仅扰动单个解码器块就已能恢复大部分改进，而在模型完全冻结的情况下，向其输出 logits 添加随机偏置，在大多数推理任务上即可达到或超过全权重扰动的效果。这表明存在一种基于输出多样性、基于验证的选择和投票的替代解释。我们将这一观点形式化为 Perturb-Select-Vote（PSV），这是一种通用流程：生成受扰动的预测器，在小型验证集上选择表现优异的成员，并聚合它们的预测。
这一解释将神经灌丛与已有的推理时方法联系起来，包括采样、自洽性和验证器引导的选择。一阶分析进一步表明，小幅权重扰动主要通过其诱导的 logit 偏移起作用。我们将这一分析扩展到视觉领域，其中 logit PSV 在域偏移下显著提升性能，包括在地球观测任务上，而全权重扰动几乎不提供额外收益。综合来看，这些结果表明，归因于邻近权重空间专家的收益，实际上可以通过输出多样性、选择和投票获得。Logit PSV 在完全冻结的模型上实现了这些收益，为语言和视觉领域的全权重扰动集成提供了一种简单、无需训练的替代方案。
| 评论： | 项目页面可在此处找到：this https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.40649 [cs.LG] |
| （或 arXiv:2610.40649v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40649 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nicolas Dufour [查看电子邮件]
[v1]
2026年10月29日星期四 17:59:29 UTC（75 KB）
来源：arXiv cs.AI · arxiv.org