arXiv cs.CL· Alexander Spangher, Daniel E. Ho, Diyi Yang, Noah Goodman, Sanmi Koyejo·· 3 天前AI 评分31
语言模型的表达能力上限：LLM 概念传递的可表达性研究
Articulation Upper Bounds for Language Models
AI 导读
研究通过测量概念在两个 LLM 之间传递的效果，发现概念可分为三类：可完全表达（如"笑话以反转结尾"）、未来更强模型或可表达（如"故事世界观连贯性"）、以及面临可表达性上限（如"喜剧声音"，其含义与身份和社会群体意识绑定）。研究提出提示词优化算法，在基准上比现有算法提升最高 14%，并发现可恢复概念可通过定义和解释传递，不可恢复概念即使给出示例也无法传递。
正文 · AI 翻译
摘要：语言只捕捉了构成说话者之间意义的一部分感知、直觉和意图。那么，语言的局限是什么？我们按如下方式在 LLM 中朝着衡量这一点迈出步伐：对于一组概念，我们衡量随着能力扩展，每个概念能在两个 LLM 之间传递得多好。这需要新颖的测量工具：(1) 最优消息：我们引入一种提示优化算法，在基准上比现有算法高出最多 14%，并能准确估计提示上界。(2) 一种传递度量：要求发送方标注文本；接收方随后尝试恢复发送方的提示，并测量恢复情况；我们发现这与人类标注错误强烈相关。借助这些度量，我们使用观测缩放定律来研究一个概念在通过最优消息传达时的可传递性如何随着发送方和接收方容量的增长而增加：它是渐近于某个阈值之下还是之上？在八个领域中测量 1.2k 个概念后，我们发现这些概念 (a) 可以被完全表述；这些概念通常依赖局部模式，例如“笑话以意外结尾”；(b) 可能由未来更强的模型表述；这些依赖整篇文本的结构模式，例如“故事的世界观连贯性”；(c) 面临可表述性限制的概念；我们发现，这些概念的意义与身份和社会群体意识相关，例如“喜剧声音”。有趣的是，这些同样的概念并非都对人类构成挑战：在 LLM 难以处理的那些概念中，人类在 76% 的概念上具有中等至高程度的一致性；我们发现，表述限制是相对于执行者而言的。最后，我们刻画了每种情况下改进的性质：虽然可恢复的概念可以通过定义和解释来表述，但不可恢复的概念即使有示例也无法传递，并且可能需要新颖的学习机制。
| 评论： | 70 页，预印本 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19721 [cs.AI] |
| （或 arXiv:2610.19721v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19721 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Alexander Spangher [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 07:47:31 UTC（283 KB）
来源：arXiv cs.CL · arxiv.org