arXiv cs.CL· Julia Witte Zimmerman, Calla G. Beauregard, Tabia Tanzin Prama, Parisa Suchdev, Kathryn Cramer, Elisabeth Kollrack·· 14 小时前AI 评分38
LLMs 并非随机鹦鹉：conlang-like 任务证明其具备意义中介的抽象能力
LLMs are not stochastic parrots: Evidence for meaning-mediated abstraction from conlang-like tasks
AI 导读
研究用 conlang-like 任务测试多个 LLM：仅给出虚构语言的自然语言描述、不提供示例输出，且这些描述刻意违背训练数据中的表层统计模式。模型在三个互补任务族中系统性地朝意义预测方向作答，能区分“提示中出现”与“被指示使用”，并有时精确匹配复杂翻译答案。结果表明 LLM 存在意义中介的抽象，反驳强版随机鹦鹉假说，但生成仍受表层合理性强烈约束。
正文 · AI 翻译
摘要：随机鹦鹉论证的强版本声称，尽管大语言模型（LLM）可能超越机械复述，但它们无法超越统计模式匹配而进入抽象或推理，尽管能生成看似流畅的文本，在本体论上仍接近模式复用的下限。我们使用类人工语言任务检验这一假设。若干 LLM 仅获得虚构语言的自然语言描述，这些描述通过组合统计上罕见且未见过的特征，颠覆了训练数据中显著的表面模式。关键在于，不提供任何示例输出。我们认为，如果模型表现出遵循规则的行为，它们就不可能仅依赖表面的统计模式；此类模式往往与正确输出相悖。相反，成功表现需要对提示中指定的约束进行表征。在三个互补的任务族中，模型系统性地朝意义所预测的方向移动：它们区分提示暴露与指令使用，根据新约束改变语义关系，有时还能与复杂翻译答案键精确匹配。尽管表现因所用模型谱系而异，这些结果为 LLM 中意义介导的抽象提供了证据，并反驳了强随机鹦鹉假设。我们的工作表明，在适当的架构和上下文约束下，统计学习可以产生意义介导的抽象，尽管生成仍受表面合理性的强烈约束。我们讨论了这对模型开发以及理解日益抽象的表示如何从合理文本生成目标中涌现的意义。
| 评论： | 在 ISC Summer School 2026 上以海报形式展示；相关工作在 IC2S2 2026 上展示；本项目及相关工作的综合在 SLSA/4S 2026 上展示 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.34187 [cs.CL] |
| （或 arXiv:2609.34187v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.34187 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Julia Zimmerman [查看电子邮件]
[v1]
2026年9月28日星期一 03:03:12 UTC（11,363 KB）
[v2]
2026年9月29日星期二 15:46:02 UTC（11,365 KB）
[v3]
2026年10月4日星期日 22:55:09 UTC（11,367 KB）
[v4]
2026年10月25日星期日 16:56:53 UTC（11,369 KB）
来源：arXiv cs.CL · arxiv.org