arXiv cs.CL· Michael A. Lepori, Tal Linzen, Ann Yuan, Katja Filippova·· 2 天前AI 评分38
LLM 难以运用上下文中学到的表征
Language Models Struggle to Use Representations Learned In-Context
AI 导读
一项研究检验 LLM 能否把上下文中学到的表征用于下游任务，发现开源权重模型在下一 token 预测和"自适应世界建模"新任务上都难以调用上下文定义的新语义，即便这些语义已编码在其隐层表征中。对闭源 SOTA 推理模型的测试同样显示，性能最强的 LLM 也无法可靠利用上下文给出的新模式。
正文 · AI 翻译
摘要：尽管大语言模型（LLM）在各类任务中取得了巨大成功，但它们似乎仍未实现人工智能研究中一个更为远大的目标：创建一种在部署后能够使其行为适应全新情境的人工系统。朝着这一目标迈出的重要一步，是创建能够对在上下文中看到的数据归纳出丰富表示，并灵活运用这些表示来实现目标的系统。最近，Park 等人（2024）证明，当前的 LLM 确实能够从上下文中归纳出此类表示（即上下文内表示学习）。本研究探讨 LLM 能否利用这些表示来完成简单的下游任务。
我们首先评估开放权重 LLM 能否将上下文内表示用于下一词元预测，然后使用一项新任务——自适应世界建模——对模型进行探测。在这两项任务中，我们都发现证据表明，开放权重 LLM 难以运用在上下文中定义的新颖语义的表示，即使它们将这些语义编码在潜在表示中。此外，我们在自适应世界建模任务上评估了闭源的最先进推理模型，结果表明，即使性能最强的 LLM 也无法可靠地利用上下文中呈现的新颖模式。总体而言，这项工作旨在启发新方法，鼓励模型不仅编码上下文中呈现的信息，而且以支持灵活运用这些信息的方式进行编码。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.04212 [cs.CL] |
| （或使用 arXiv:2602.04212v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2602.04212 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Michael Lepori Jr. [查看电子邮件]
[v1]
2026年2月4日星期三 04:55:07 UTC（222 KB）
[v2]
2026年5月1日星期五 03:55:21 UTC（1,198 KB）
[v3]
2026年10月15日星期四 17:06:29 UTC（1,198 KB）
来源：arXiv cs.CL · arxiv.org