arXiv cs.CL· Julian Asilis, Guanzhe Hong, Vatsal Sharan·· 10 小时前AI 评分34
随机搜索真能发现任务专家吗？研究重新审视神经网络稠密区假说
Does Random Search Discover Task Experts? Revisiting Neural Thickets
AI 导读
一项研究重新检验了 Gan & Isola（2026）提出的“神经稠密区”假说，发现随机高斯权重扰动所选出任务专家的收益会随选择集规模 m 增大而快速衰减，12 个模型-任务对中有 10 个的顶级专家奖励提升超过 75% 可由纯选择噪声的零模型解释。
正文 · AI 翻译
摘要：预训练模型通常被视为通才，需要专门的后训练才能获得特定任务的专长。Gan & Isola（2026）最近提出了一个引人注目的替代观点：预训练模型位于一个由任务专家构成的稠密神经丛林之中，可以通过简单的高斯权重扰动将其显现出来。我们考察了这一任务特定专家的神经丛林，并发现了若干关键结果，对上述观点提出了质疑。首先，我们发现，通过 best-of-N 选出的扰动所表现出的表面提升会随选择集大小 m 迅速衰减，这强烈表明其过拟合于选择问题。事实上，在我们研究的 12 个模型-任务对中，有 10 个仅用纯选择噪声的简单零模型就能预测出顶级专家奖励提升的 75% 以上。其次，顶级专家的优势在留出问题上往往消失，或仍处于未扰动预训练模型逐次运行的波动范围之内。第三，我们发现，对选出的前 K 个扰动进行多数投票（Gan & Isola（2026）称之为 RandOpt(N, K)），其结果往往与对基础模型采样 K 次进行多数投票相当，甚至更差。总体而言，我们的结果表明，随机权重扰动可能无法有效揭示预训练模型周围的任务专家，且任务适配所需的复杂度高于随机搜索。代码与工件见 此 http URL。
| 评论： | 24 页 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01262 [cs.LG] |
| （或 arXiv:2611.01262v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01262 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Julian Asilis [查看邮箱]
[v1]
2026 年 10 月 31 日星期六 21:01:08 UTC（291 KB）
来源：arXiv cs.CL · arxiv.org