arXiv cs.CL· Leonard S. Pleiss, Maximilian Schiffer, Robert K. von Weizsaecker·· 12 小时前AI 评分58
研究用国际象棋区分大语言模型的泛化与记忆
Disentangling generalization and memorization in large language models using chess
AI 导读
研究者提出以国际象棋作为受控测试平台，按相关先验的密度对局面分类，从而在不需要了解模型训练数据的情况下区分记忆与泛化。对GPT系列的长时段分析和Claude Opus、Gemini等当代模型的评测显示，先验越稀疏性能越差，在少先验任务上基座模型回落到随机走子水平，各模型提出非法走子的比例也明显上升。推理增强能提升表现，但每个token的相对边际收益随先验减少而下降。
正文 · AI 翻译
摘要：大型语言模型（LLM）展现出非凡的能力，但这些能力在多大程度上反映了复杂的记忆召回或真正的推理能力，目前仍不清楚。我们引入国际象棋作为一个受控测试平台，旨在区分这两种能力。借助该游戏的结构和可扩展的引擎评估，我们构建了一个局面分类体系，其相关先验的密度各不相同——从可通过记忆解决的常见状态，到需要泛化的完全新颖状态。关键在于，我们的方法无需明确了解模型的训练数据即可实现这种区分。应用这一分类体系，我们将对 GPT 系列的纵向分析与对当代模型（包括 Claude Opus 和 Gemini）的严格评估相结合。我们的分析揭示了一个陡峭的梯度：随着相关先验密度的降低，性能持续下降。值得注意的是，对于相关先验很少的任务，基础模型的性能退化至随机走子基线，且所有模型提出非法走法的比率急剧上升，表明它们无法在陌生局面中可靠地应用游戏的固定规则。尽管较新的模型有所改进，但对于先验稀疏的任务，进展显著放缓。此外，虽然推理增强的推断能提升性能，但在缺乏相关先验的情况下，其每 token 的相对边际收益下降。这些结果表明系统性泛化存在局限，凸显了在缺乏相关先验时，需要超越规模的机制来实现稳健性能。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.16823 [cs.CL] |
| （或 arXiv:2601.16823v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.16823 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Leonard S. Pleiss [查看邮箱]
[v1]
2026年1月23日星期五 15:23:08 UTC（537 KB）
[v2]
2026年5月19日星期二 12:03:44 UTC（698 KB）
[v3]
2026年10月20日星期二 21:13:38 UTC（700 KB）
来源：arXiv cs.CL · arxiv.org