arXiv cs.CL· Harish Tayyar Madabushi, Melissa Torgbi, Claire Bonial·· 12 小时前AI 评分31
论文提出 LLM 通过上下文引导的训练数据先验外推来完成任务，既非随机鹦鹉也非 AGI
Neither Stochastic Parroting nor AGI: LLMs Solve Tasks through Context-Directed Extrapolation from Training Data Priors
AI 导读
一篇立场论文提出，LLM 的许多行为应被解释为“上下文引导外推”——模型从训练数据先验中外推，并用上下文引导其调用合适的先验。作者据此给出可操作的评估清单与设计模式，用于区分记忆、基础外推与真正的应用级泛化，并主张以此校准对 LLM“推理”能力的表述。
正文 · AI 翻译
摘要：本文认为，许多被归类为“随机鹦鹉”或“高级推理”的行为，更适合解释为从训练数据先验中进行的上下文引导式外推；并且，机器学习与自然语言处理研究界将受益于能够区分记忆与基本外推、以及真正应用级泛化的评估方法。我们的核心贡献是一份可操作的评估清单和设计模式，使这些区分在实践中可被检验。我们的框架假设，大语言模型从训练数据先验中进行外推，同时利用上下文引导模型指向合适的先验；我们称之为“上下文引导式外推”。具体而言，这种上下文引导在基础模型中通过示例实现，从而产生上下文学习；而指令微调则允许通过提示而非显式示例来进行类似的任务指定。我们认为，采用这一更贴近现实的框架以及用于改进评估的控制措施，将能更好地校准关于大语言模型“推理”的主张，使研究重新聚焦于大语言模型性能如何与训练数据以及向域外任务的泛化能力相互作用，并减少部署与政策决策中的校准偏差。
| 评论： | 14 页，1 幅图（含附录） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2505.23323 [cs.CL] |
| （或 arXiv:2505.23323v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.23323 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Claire Bonial [查看邮箱]
[v1]
2025 年 5 月 29 日星期四 10:31:42 UTC（47 KB）
[v2]
2025 年 9 月 20 日星期六 13:40:43 UTC（107 KB）
[v3]
2026 年 10 月 21 日星期三 14:38:37 UTC（89 KB）
来源：arXiv cs.CL · arxiv.org