arXiv cs.AI· Eduardo C. Garrido-Merch\'an·· 4 小时前AI 评分31
大语言模型能否零样本完成权重空间编程?结构化数据集目标变量预测与分类研究
Zero-Shot Weight-Space Programming for Prediction and Classification of Target Variables in Structured Datasets
AI 导读
研究检验大语言模型能否在无梯度下降、无优化器、无代码执行的条件下,仅凭完整小数据集和前馈网络架构,直接写出每个权重与偏置的数值。在涵盖玩具问题、隐藏旋转伪装的合成问题、经典基准与真实工程回归的评测中,冻结网络在线性最优处匹配闭式解,在三个非线性层级达到生成过程的不可约误差,并在其中两个层级上超过包括梯度下降训练的同类架构在内的所有拟合基线;两个失败层级均因待发现结构与其分析坐标斜交。
正文 · AI 翻译
摘要:权重空间编程通过手工固定前馈网络的每一个参数,整个构建过程中完全不使用梯度下降。迄今为止的每一次演示都从以规则系统形式交给模型的目标函数出发,使其成为一个编译问题。而监督数据集并不提供这一规格说明,因此该过程必须自行完成统计推断,然后用给定的参数化方式表达结果。我们考察大型语言模型能否同时完成这两件事。向它完整展示一个小数据集以及一个前馈网络的架构,它把每个权重和偏置都写成字面数字,不使用优化器、不使用梯度、不执行代码,也没有机会先对其进行评估。每个构建结果都被封存,并预先登记其预期得分。评分套件从两个玩具问题开始,经过九个被隐藏旋转伪装的合成问题,一直到经典基准和一个真实工程回归问题。冻结的网络在线性最优解存在之处与闭式最优解一致,在三个非线性层级上达到生成过程的不可约误差,并在其中两个层级上击败所有拟合基线,包括用梯度下降训练的同一架构。它在两个层级上失败,两次都是因为要寻找的结构与其所分析的坐标呈斜交。另外三个构建器区分了单一得分所混淆的两种失败模式:一个在最难的层级上根本不返回参数向量,另一个在所有地方都能交付,但写出的网络比预测均值还差。其中一种失败被证明是可以避免的:另一个构建器解决了斜交铰链层级,其优势幅度经多重比较校正后依然成立。预测隐藏层是否物有所值的是线性分离器的训练误差,而复合复杂度指数未能捕捉到这一点。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.19292 [cs.AI] |
| (或本版本的 arXiv:2611.19292v2 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.19292 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Eduardo C. Garrido-Merchán [查看电子邮件]
[v1]
2026年11月14日星期六 09:37:17 UTC(79 KB)
[v2]
2026年11月17日星期二 09:50:04 UTC(80 KB)
来源:arXiv cs.AI · arxiv.org