arXiv cs.AI· Eduardo C. Garrido-Merch\'an·· 4 小时前AI 评分31
大语言模型零样本权重空间编程:跨越双人游戏难度阶梯的实证研究
Zero-Shot Weight-Space Programming Across a Difficulty-Graded Ladder of Two-Player Games
AI 导读
研究设计了一个四级难度阶梯(Nim、井字棋、两种尺寸的四子棋、国际象棋残局),让大语言模型零样本手工设定前馈网络全部权重,共构建并独立验证十个网络,其中六个获得完整的非统计正确性证明。国际象棋残局网络在单步战术上成功率达84.1-100%,但在完整对抗博弈中骤降至0.57-9.13%,且该崩塌在两个结构无关的游戏中复现,表明这是架构天花板而非工程投入问题。
正文 · AI 翻译
摘要:权重空间编程通过显式指定所需计算来手工设定前馈网络的每一个权重,整个构建过程中不使用梯度下降,也不使用任何训练数据。我们探究大型语言模型能在多大程度上零样本地实践这一做法,所用游戏难度被刻意逐步提高。我们设计了一个四级阶梯(Nim、井字棋、两种尺寸的四子棋,以及一个国际象棋残局),跨越四个难度维度,并在每一级构建第二个独立网络,使用难度匹配但结构上无关的游戏,以区分某一级的发现所说明的是难度水平,还是仅说明用于测量它的那一个游戏。共构建十个网络并独立验证。其中六个网络针对独立预言机给出了完整、非统计性的正确性证明。国际象棋残局这一级在正确性代价低的地方是精确的,即走法合法性,以及其中一个网络中的精确一步杀检测器;而在代价高的地方则崩溃,即组合多步将杀计划,从它本应做对的一步战术的 84.1-100% 成功率,下降到完整对抗对局中的 0.57-9.13%;其重复实验显示,在所需计划更短、安全检查为精确而非启发式的情况下,这种崩溃的严重程度低一个数量级。标准尺寸这一级通过保持手工设定的评估权重固定、仅添加浅层搜索,证实了剩余差距是架构上限,而非工程投入的问题,并且这种精确的崩溃在两个结构上无关的游戏中重现。我们发布全部十个网络、它们的独立预言机、构建成本测量,以及用于未来跨模型比较的冷提示协议
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.09271 [cs.AI] |
| (或此版本的 arXiv:2611.09271v3 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.09271 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Eduardo C. Garrido-Merchán [查看电子邮件]
[v1]
2026年11月6日星期五 10:26:48 UTC(34 KB)
[v2]
2026年11月9日星期一 15:52:19 UTC(34 KB)
[v3]
2026年11月17日星期二 09:46:57 UTC(42 KB)
来源:arXiv cs.AI · arxiv.org