斯坦福论文《A Circuit for In-Context Learning》揭示小模型上下文学习电路

Rohan Paul· @rohanpaul_ai · X·2026-11-05 10:22· 38 分钟前AI 评分51

AI 导读

Stanford 论文《A Circuit for In-Context Learning》（arXiv:2611.05344）发现小语言模型的 few-shot 学习不是从示例学到新规律，而是通过标签查找已有映射，仅在标签重复时触发。

正文 · 原文

New Stanford 论文发现，向小型 AI 语言模型展示更多示例，并不能教会它一个它尚未注意到的模式，例如一个单词的第三个字母。

发现 LLM 通过查找已存储的标签从 few-shot 示例中学习，并且只有在标签重复时才开启这种查找。

一个早期信号仅在某些标签重复时才开启这种查找。每类 1 个示例时，模型正确率约为 20%，而 6 个示例时正确率达到 96%。

给模型十几句用 foo 和 bar 等虚构标签标注的句子，它无需权重更新就能学会这种映射。此前的工作发现了其中部分机制，但未弄清它们如何协同工作。

他们在 Qwen3-4B、SmolLM3-3B 和 Llama-3.2-3B 中追踪了完整路径。每个标签 token 存储其句子的类别，之后约 90 个 head 将新句子与这些存储的类别进行匹配。

对于 few-shot 提示，将每个标签重复多次，并选择模型已经能够区分的类别，因为示例无法教会它缺失的特征。

– arxiv. org/abs/2611.05344

标题：“A Circuit for In-Context Learning”

来源：Rohan Paul · x.com