arXiv cs.CL· Minglai Yang, Xinyu Guo, Renxiong Wang, Sunjie Hou, Daniel Yue Zhang, Yunzhong He·· 3 天前AI 评分31
从复制到组合：语言模型如何习得上下文学习能力
From Copying to Composition: How Language Models Develop In-Context Learning
AI 导读
研究用受控诊断任务区分"复制邻近示例"与"跨提示整合信息"，在17个模型中约三分之一偏好复制答案，其余偏好规则一致答案且准确率更高。检查点分析显示，模型在准确率超过随机水平之前就已优先关注任务相关提示词。匹配训练实验中，先定义结尾再查询的合成文档使模型转向组合式回答，而基于改写真实文档的定义练习微调可在提示重新分配标签含义时提升准确率。
正文 · AI 翻译
摘要：上下文学习（ICL）允许语言模型根据提示中的指令和示例调整其行为，但仅凭准确率无法揭示上下文信息如何控制其预测。我们通过一项受控诊断来研究 ICL 的习得与可训练性，该诊断将复制邻近示例与整合提示中的信息区分开来。在 17 个模型中，约三分之一偏好复制的答案，少数模型无法确定，其余模型偏好与规则一致的答案，后者伴随着更高的准确率，并且受所请求的值而非最接近的冲突示例所控制。检查点分析表明，模型早在准确率提升至随机水平以上之前，就开始优先关注与任务相关的提示词元，而非冲突示例。在匹配的训练实验中，先定义结尾再对其进行查询的合成文档使模型在受控诊断中转向组合式回答，而在由改写真实文档构建的定义练习上进行微调，则在提示重新分配标签含义时提高了准确率。结果表明，ICL 并非作为单一、统一的能力被习得。相反，提示控制、答案偏好、无候选构建以及迁移可能沿着不同的轨迹发展。
| 评论： | 29 页，17 幅图，8 张表 |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19113 [cs.CL] |
| （或 arXiv:2610.19113v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.19113 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Minglai Yang [查看电子邮件]
[v1]
2026年10月13日星期二 19:49:33 UTC（859 KB）
来源：arXiv cs.CL · arxiv.org