Chomsky 与统计学习的两种文化（2011）

在2011年麻省理工学院150周年校庆期间举办的大脑、心智与机器研讨会上，《技术评论》报道称，诺姆·乔姆斯基教授

嘲笑了那些使用纯统计方法产生模仿世界中某种行为、却不试图理解该行为含义的机器学习研究者。

文字记录现已公布，让我们引用乔姆斯基的原话：

确实有大量工作试图将统计模型应用于各种语言学问题。我认为有过一些成功，但也有很多失败。有一种成功的概念……我认为这在科学史上是新颖的。它把成功解释为对未分析数据的近似。

诺姆·乔姆斯基

乔姆斯基的言论是在回应史蒂芬·平克关于用统计方法训练的概率模型是否成功的问题。本文是对平克和乔姆斯基的回应，并将探讨以下问题：

乔姆斯基是什么意思，他说得对吗？
什么是统计模型？
统计语言模型有多成功？
科学史上是否有类似他们那种成功概念的东西？
乔姆斯基不喜欢统计模型的哪些方面？

乔姆斯基是什么意思，他说得对吗？

我认为乔姆斯基的要点如下：

统计语言模型在工程上取得了成功，但这与科学无关。
准确建模语言事实只是采集蝴蝶标本；科学（特别是语言学）中重要的是底层原理。
统计模型难以理解；它们提供不了任何洞见。
统计模型或许能对某些现象提供准确的模拟，但模拟的方式完全错误；人们并不是通过查询以先前词语为键的概率表来决定句子的第三个词应该是什么，而是从内部语义形式映射到句法树结构，再线性化为词语。这一过程没有任何概率或统计。
统计模型已被证明无法学习语言；因此语言必定是先天固有的，那么这些统计建模者为什么还要在错误的事业上浪费时间？

他说得对吗？这是一个由来已久的争论。以下是我的简短回答：

我同意工程成功不是科学的唯一目标或衡量标准。但我观察到科学与工程是共同发展的，工程成功表明某事物运作正确，因此是科学上成功模型的证据（但不是证明）。
科学是收集事实与提出理论的结合；两者都无法单独进步。在科学史上，艰苦地积累事实是主导模式，而非新奇事物。理解语言的科学在这方面与其他科学并无不同。
我同意，理解一个包含数十亿参数的模型可能很困难。当然，人类无法通过逐个检查每个参数的值来理解这样的模型。但人们可以通过考察模型的性质——它在何处成功、何处失败，它随数据变化的学习效果如何，等等——来获得洞见。
我同意词概率的马尔可夫模型无法对语言的全部进行建模。同样正确的是，一个不带概率的简洁树结构模型也无法对语言的全部进行建模。所需要的是一种涵盖词、句法、语义、语境、话语等的概率模型。乔姆斯基因为某个已有50年历史的特定概率模型的缺陷而否定了所有概率模型。我能理解乔姆斯基是如何从他对话言生成的研究中得出概率模型不必要的结论的。但绝大多数研究解释任务（如语音识别）的人很快就会看到，解释本质上是一个概率问题：给定一串传入我耳朵的含噪输入，说话者最可能想表达什么？爱因斯坦说要让一切尽可能简单，但不能过于简单。科学中的许多现象是随机的，对它们最简单的模型就是概率模型；我相信语言就是这样的现象，因此概率模型是我们表示语言事实、用算法处理语言以及理解人类如何处理语言的最佳工具。
1967年，戈尔德定理展示了逻辑演绎在形式数学语言上的一些理论局限。但这一结果与自然语言学习者所面临的任务毫无关系。无论如何，到1969年我们就知道，概率推断（在概率上下文无关文法上）不受那些局限的约束（霍宁证明了PCFG的学习是可能的）。我同意乔姆斯基的观点：不可否认，人类具有某种学习自然语言的先天能力，但我们对这种能力了解得还不够，无法说明它是如何运作的；它当然可能使用类似概率语言表示和统计学习的东西。而且我们不知道这种先天能力是语言特有的，还是属于一种更通用的、对语言和其他事物都起作用的能力的一部分。

本文的其余部分由每个答案的较长版本组成。

什么是统计模型？

统计模型是一种通过输入数据点来修改或训练的数学模型。统计模型通常是概率性的，但并非总是如此。在区分很重要时，我们会注意不只说“统计”，而是使用以下组成术语：

数学模型指定变量之间的关系，或以将输入映射到输出的函数形式（例如y = m x + b），或以关系形式（例如以下(x, y)对属于该关系）。
概率模型指定随机变量可能取值上的概率分布，例如P(x, y)，而不是严格的确定性关系，例如y = f(x)。
训练模型使用某种训练/学习算法，以一组可能的模型和一组数据点（例如(x, y)对）为输入，并选出最佳模型。这通常表现为通过统计推断过程选择参数值（如上面的m和b）。

克劳德·香农

例如，在乔姆斯基之前十年，克劳德·香农提出了基于词马尔可夫链的通信概率模型。如果你有一个包含 100,000 个词的词汇表，以及一个二阶马尔可夫模型，其中某个词的概率取决于前两个词，那么你需要一千万亿（10¹⁵）个概率值来指定该模型。学习这 10¹⁵ 个值的唯一可行方法是从数据中收集统计量，并针对许多没有数据的情况引入某种平滑方法。因此，大多数（但并非全部）概率模型是训练得到的。此外，许多（但并非全部）训练得到的模型是概率性的。

再举一个例子，考虑引力吸引的牛顿模型，它指出两个质量分别为 m₁ 和 m₂、相距 r 的物体之间的力由下式给出

F = G m₁ m₂ / r²

其中 G 是万有引力常数。这是一个训练得到的模型，因为引力常数 G 是通过对一系列包含随机实验误差的实验结果进行统计推断而确定的。它也是一个确定性（非概率性）模型，因为它陈述了一种精确的函数关系。我相信乔姆斯基对这种统计模型没有异议。相反，他似乎把批评留给像香农那样拥有千万亿个参数（而不只是一两个）的统计模型。

（这个例子引出了另一个区别：引力模型是连续的和定量的，而语言学传统则青睐离散的、分类的和定性的模型：一个词是或不是动词，不存在其动词性程度的问题。关于这些区别的更多内容，请参阅 Chris Manning 关于概率句法的文章。）

一个相关的概率统计模型是理想气体定律，它用分子数 N、温度 T 和玻尔兹曼常数 K 来描述气体的压强 P：

P = N k T / V。

该方程可以利用统计力学的工具从第一性原理推导出来。它是一个不确定的、不正确的模型；真正的模型必须描述单个气体分子的运动。这个模型忽略了那种复杂性，并概括了我们对单个分子位置的不确定性。因此，尽管它是统计的和概率性的，尽管它没有完全模拟现实，它确实提供了良好的预测和洞见——这种洞见无法通过试图理解单个分子的真正运动来获得。

现在让我们考虑由规则“I before E except after C.”所表达的非统计拼写模型。将其与概率性的、训练得到的统计模型进行比较：

P(IE) = 0.0177         P(CIE) = 0.0014        P(*IE) = 0.163
P(EI) = 0.0046         P(CEI) = 0.0005        P(*EI) = 0.0041

这个模型来自对一万亿词的英语文本语料库的统计。记号 P(IE) 表示从该语料库中抽取的一个词包含连续字母“IE”的概率。P(CIE) 表示一个词包含连续字母“CIE”的概率，而 P(*IE) 表示除 C 以外的任何字母后跟 IE 的概率。统计数据证实，IE 实际上比 EI 更常见（比例接近 4 比 1），并且当 IE 跟在 C 后面时，其优势会减弱，但与规则相反，CIE 仍然比 CEI 更常见，比例接近 3 比 1。“CIE”词的例子包括“science”、“society”、“ancient”和“species”。“I 在 E 前，除非在 C 后”模型的缺点在于它不够准确。考虑：

Accuracy("I before E") = 0.0177/(0.0177+0.0046) = 0.793
Accuracy("I before E except after C") = (0.0005+0.0163)/(0.0005+0.0163+0.0014+0.0041) = 0.753

一个更复杂的统计模型（比如，给出所有 4 字母序列和/或所有已知词的概率的模型）在拼写任务上可能准确十倍，但并不能提供关于拼写如何运作的简洁洞见。洞见需要一个了解音素、音节划分和词源的模型。这样的模型可以被训练（或不训练），也可以是概率性的（或不是）。

作为洞见的另一个例子，考虑最高法院大法官握手理论：当最高法院开会时，所有出席的大法官都与每一位其他大法官握手。出席人数 n 必须是 0 到 9 范围内的整数；对于给定的 n，握手的总次数 h 是多少？这里有三种可能的解释：

n 位大法官中的每一位都与另外 n - 1 位大法官握手，但这把 Alito/Breyer 和 Breyer/Alito 算作两次单独的握手，所以我们应该把总数减半，最终得到 h = n × (n - 1) / 2。
为了避免重复计数，我们将大法官按资历排序，只计算较资深/较资浅的握手，而不计算较资浅/较资深的握手。因此，对于每位大法官，我们计算与较资浅大法官的握手次数，并将它们相加，得到 h = Σ_{i = 1 .. n} (i - 1)。
Just look at this table:

n： 0 1 2 3 4 5 6 7 8 9
h： 0 0 1 3 6 10 15 21 28 36

有些人可能更喜欢 A，有些人可能更喜欢 B，如果你做乘法或加法比较慢，你可能会更喜欢 C。为什么？这三种解释描述的是完全相同的理论——从 n 到 h 的同一个函数，在整个可能的 n 值域上（只要最高法院大法官不超过 9 位）。因此，我们只能出于理论本身以外的原因而偏好 A（或 B）而非 C。我们可能会发现 A 或 B 让我们更好地理解了这个问题。在弄清楚如果国会行使权力增加一位大法官会发生什么方面，A 和 B 肯定比 C 更有用。理论 A 可能最有助于发展冰球比赛结束时的握手理论（当每名球员与对方球队的球员握手时），或者证明在 MIT 研讨会上与奇数个人握手的人数是偶数。

统计语言模型有多成功？

乔姆斯基说过大意如下的话：统计语言模型在某些应用领域取得了一些有限的成功。让我们看看处理语言的计算机系统，以及由“对世界做出准确预测”定义的“成功”概念。首先是主要应用领域：

搜索引擎：100% 的主要参与者都经过训练并且是概率性的。它们的运作无法用简单的函数来描述。
语音识别：100% 的主要系统都经过训练并且是概率性的，大多依赖于概率性的隐马尔可夫模型。
机器翻译：在 NIST 等竞赛中，100% 的顶尖竞争者都使用统计方法。一些商业系统使用训练方法与基于规则方法的混合。在机器翻译系统覆盖的 4000 个语言对中，统计系统在除日语-英语之外的每一对上都远远是最好的，而在日语-英语上，顶尖的统计系统与顶尖的混合系统大致相当。
问答：这一应用发展得不太成熟，许多系统大量建立在搜索引擎所使用的统计和概率方法之上。最近在 Jeopardy 上获胜的 IBM Watson 系统完全是概率性的并且经过训练，而 Boris Katz 的 START 则是一个混合系统。所有系统都至少使用了一些统计技术。

现在我们来看一些只有计算语言学家感兴趣、而非最终用户感兴趣的组件：

词义消歧：在 SemEval-2 竞赛中，100% 的顶尖竞争者都使用了统计技术；大多数是概率性的；一些使用混合方法，融合了来自 Wordnet 等来源的规则。
共指消解：当前大多数系统都是统计性的，不过我们应当提到 Haghighi 和 Klein 的系统，它可以被描述为一个混合系统，主要基于规则而非训练，并且表现与顶尖统计系统相当。
词性标注：当前大多数系统都是统计性的。Brill 标注器作为一个成功的混合系统脱颖而出：它从统计数据中学习一组确定性规则。
句法分析：有许多句法分析系统，使用多种方法。几乎所有最成功的系统都是统计性的，而且大多数是概率性的（还有相当一部分是确定性句法分析器）。

显然，说统计模型（以及概率模型）取得了有限的成功是不准确的；相反，它们取得了压倒性的主导（尽管并非排他性的）地位。

衡量成功的另一个标准是一个想法在多大程度上吸引了一个研究者群体。正如 Steve Abney 在 1996 年所写的那样：“在过去十年的时间里，统计方法从在计算语言学中几乎无人知晓，变成了一个基本的既定前提。……任何至少不能有说服力地使用相关术语的人，都有被误认为 ACL [计算语言学协会] 宴会上厨房帮工的风险。”

当然，多数并不代表正确——仅仅因为大家都在跟风，并不意味着那就是对的。但我做出了转变：在尝试用逻辑规则让语言模型工作大约14年之后，我开始采用概率方法（感谢Gene Charniak这样的先驱（以及Judea Pearl在概率方面的贡献）以及我那些早期采纳的同事，比如Dekai Wu）。我看到周围的每个人都在做同样的转变。而且我没有看到任何人朝相反的方向走。我们都看到了旧工具的局限，以及新工具的好处。

虽然用财务指标来衡量成功似乎显得粗俗且反智，但我注意到，香农理论的智力产物每年创造数万亿美元的收入，而乔姆斯基理论的产物产生的收入远低于十亿美元。

本节已经表明，计算语言学中绝大多数研究者使用统计模型的一个原因是工程方面的原因：统计模型具有最先进的性能，而在大多数情况下非统计模型表现最差。在本文的剩余部分，我们将集中讨论科学方面的原因：概率模型更好地表征了语言事实，而统计技术使我们更容易理解这些事实。

在科学史上有什么类似的东西[统计意义上的成功概念]吗？

当乔姆斯基说“那是一种非常新颖的[科学]成功概念。我不知道在科学史上有什么类似的东西”时，他显然是指 “准确建模世界”这种成功概念是新颖的，而科学史上唯一真正的成功衡量标准是“提供洞见”——回答事物为何如此，而不仅仅是描述它们如何。

科学的一个词典定义是“通过观察和实验对物理和自然世界的结构和行为进行系统研究”，这强调准确建模而非洞见，但在我看来，这两种概念在科学研究中一直共存。为了验证这一点，我查阅了科学研究的典范，即Science。我查看了当前一期，随机选择了一个标题和摘要：

Chlorinated Indium Tin Oxide Electrodes with High Work Function for Organic Device Compatibility
在有机发光二极管（OLED）中，多层有机层堆叠促进了电荷从透明电极（掺锡氧化铟，ITO）的低功函数[约4.7电子伏特（eV）]流向活性发光有机材料的深能级（约6 eV）。我们展示了一种氯化ITO透明电极，其功函数>6.1 eV，可直接匹配最先进OLED中活性发光材料的能级。我们展示了一种高度简化的绿色OLED，采用出耦合增强后，最大外量子效率（EQE）为54%，功率效率为每瓦230流明；在10,000坎德拉每平方米下，EQE为50%，功率效率为每瓦110流明。

这篇文章显然更侧重于“准确建模世界”而非“提供洞见”。该论文确实属于一个理论体系，但它主要报告的是具体实验及其获得的结果（例如54%的效率）。

然后我看了本期 Science 当前一期的所有标题和摘要：

裂殖酵母的比较功能基因组学
镍氧化物超晶格中电子相变的维度控制
纳米尺度下超导现象与近藤屏蔽的竞争
具有高功函数且与有机器件兼容的氯化铟锡氧化物电极
探测美国西部下方的软流圈密度、温度和弹性模量
极地臭氧消耗对副热带降水的影响
哺乳动物大脑起源的化石证据
英国桦尺蛾工业黑化具有单一且晚近的突变起源
卷柏基因组揭示与维管植物演化相关的遗传变化
肝与胰腺命运抉择中的染色质“预模式”和组蛋白修饰因子
mTOR 与自噬的空间耦合增强分泌表型
饮食驱动哺乳动物系统发育及人类内部肠道微生物组功能的趋同
Toll 样受体 2 通路促成人类微生物群共生菌的定植
在真核生物基因组中重建的核小体组织包装机制
tRNA 结合经典态与杂合态下细菌核糖体的结构

并对 Cell 当前一期做了同样的事：

绘制 NPHP-JBTS-MKS 蛋白网络揭示纤毛病致病基因与通路
BRCA2 在阻止 MRE11 降解停滞复制叉中的双链断裂修复非依赖性作用
多拷贝基因座上替代染色质状态的建立与维持
单等位嗅觉受体表达的表观遗传特征
不同的 p53 转录程序决定急性 DNA 损伤应答与肿瘤抑制
ADIOL-ERβ-CtBP 反式抑制通路负调控小胶质细胞介导的炎症
调控能量平衡的激素依赖性模块
IIa 类组蛋白去乙酰化酶是 FOXO 与哺乳动物葡萄糖稳态的激素激活调节因子

以及科学领域 2010 年诺贝尔奖：

物理学：因关于二维材料石墨烯的开创性实验
化学：因有机合成中的钯催化交叉偶联
生理学或医学：因体外受精技术的发展

我的结论是，这些文章和奖项 100% 更多是关于“准确建模世界”，而不是关于“提供洞见”，尽管它们也都有一定的理论洞见成分。我认识到，无论怎么判断都是一项困难且定义不清的任务，而且你不应自动接受我的判断，因为我可能有内在偏见。（我本考虑在 Mechanical Turk 上做个实验以获得无偏答案，但熟悉 Mechanical Turk 的人告诉我，这些问题对普通 Turker 来说可能太难。所以读者你可以自己做实验，看看是否同意。）

乔姆斯基不喜欢统计模型的什么？

我说过统计模型有时会与概率模型混淆；让我们先考虑乔姆斯基的反对意见在多大程度上实际上是针对概率模型的。1969 年他著名地写道：

但必须认识到，“句子的概率”这一概念，在对该术语的任何已知解释下，都是完全无用的。

他的主要论点是，按照他所知的任何解释，一个新句子的概率必定为零；而既然新句子实际上一直在不断产生，这就构成了矛盾。这个矛盾的解决办法当然是：并不需要给新句子赋予零概率；事实上，在当前的��率模型中，标准做法是进行平滑处理，并给新出现的情况赋予非零概率。所以这个批评是无效的，但它在几十年间影响很大。此前，在 句法结构（1957）中，乔姆斯基写道：

我认为我们不得不得出结论：……概率模型对句法结构的一些基本问题并没有提供特别的洞见。

在对这一结论的脚注中，他考虑了建立一个有用的概率/统计模型的可能性，说道：“我当然不愿争辩说……是不可想象的，但我不知道有任何这方面的建议没有明显的缺陷。”主要的“明显缺陷”是这样的：考虑：

我从来、从来、从来、从来……不会以任何方式摆弄电气设备。
她从来、从来、从来、从来……不会以任何方式摆弄电气设备。
* 我从来、从来、从来、从来……不会以任何方式摆弄电气设备。
* 她从来、从来、从来、从来……不会以任何方式摆弄电气设备。

无论你插入多少个重复的“ever”，句子1和2都是合乎语法的，而3和4是不合乎语法的。一个具有n个状态的概率马尔可夫链模型，在“ever”的副本超过n个时，永远无法做出必要的区分（即区分1或2与3或4）。因此，概率马尔可夫链模型无法处理全部英语。

这个批评是正确的，但它只是对马尔可夫链模型的批评，而不是对一般概率模型（或训练模型）的批评。自1957年以来，我们已经看到了许多超越马尔可夫链词模型的概率语言模型类型。上面的例子1-4实际上可以用一个非链式的有限状态模型来区分，但其他例子需要更复杂的模型。研究得最充分的是概率上下文无关文法（PCFG），它在树、词类和单个词汇项上运作，并且没有有限状态模型的任何限制。我们发现，PCFG在句法分析性能上处于最先进水平，并且比非概率的范畴上下文无关文法更容易从数据中学习。其他类型的概率模型涵盖语义和话语结构。

每个概率模型都是确定性模型的超集（因为确定性模型可以被视为一种概率模型，其中概率被限制为0或1），所以任何对概率模型的有效批评都必然是因为它们表达力过强，而不是因为它们表达力不足。

在句法结构中，乔姆斯基引入了一个如今著名的例子，这是对有限状态概率模型的另一个批评：

无论是（a）“无色的绿色想法愤怒地睡觉”，还是（b）“愤怒地睡觉想法绿色无色”，以及它们的任何部分，都从未出现在英语使用者的过去语言经验中。但（a）是合乎语法的，而（b）不是。

乔姆斯基似乎是对的，这两个句子在1955年之前都没有出现在已发表的文献中。我不确定他所说的“它们的任何部分”是什么意思，但显然每个两词部分都曾出现过，例如：

“它是中性的绿色，无色的绿色，就像地窖里那泛着蓝绿色的水。” 我们记忆中的巴黎，Elisabeth Finley Thomas（1942年）。
“要具体说明那些绿色的想法几乎没有必要，但你可以观察[D. H.]劳伦斯先生扮演饱食终日的唯美主义者的角色。” 《新共和》：第29卷第184页，William White（1922年）。
“想法沉睡在书本中。”《当代观点》：第52卷，（1912年）。

但无论“部分”指的是什么，一个经过统计训练的有限状态模型确实能够区分这两个句子。Pereira（2001）表明，这样一个模型，在加入词类并通过期望最大化在报纸文本上训练之后，计算出（a）比（b）的可能性高200,000倍。为了证明这不是乔姆斯基的句子本身混入报纸文本所致，我重复了这个实验，使用一个粗糙得多的模型，采用拉普拉斯平滑且没有词类，在1800年至1954年的谷歌图书语料库上训练，结果发现（a）的可能性大约高10,000倍。

此外，统计模型能够给出这样的判断：与比如“有效的绿色产品销售良好”相比，这两个句子都极其不可能。乔姆斯基的理论是分类式的，无法做出这种区分；它所能区分的只是合乎语法/不合乎语法。

乔姆斯基反对意见的另一部分是：“我们不能认真地提出，一个孩子在仅持续10⁸秒的童年中学会了10⁹个参数的值。”（请注意，现代模型比20世纪60年代所设想的10⁹个参数要大得多。）但当然，没有人提出这些参数是一个一个地学习的；正确的学习方式是通过平滑或正则化程序同时设置大片接近零的参数，并随着观测数据的到来不断更新高概率参数。没有人认为马尔可夫模型本身是人类语言表现的严肃模型。但我（和其他人）认为，概率性的、经过训练的模型比分类性的、未经训练的模型更好地模拟了人类语言表现。而且，是的，显然一个成年英语使用者确实知道数十亿条语言事实（说话者知道许多关于词语在不同语境中恰当用法的事实，例如在谈论一场重要的橄榄球比赛时说“the big game”而不是“the large game”）。这些事实必定以某种方式编码在大脑中。

显然，概率模型更擅长判断一个句子的可能性或其合理程度。但即使你对这些因素不感兴趣，只关心句子的语法性，概率模型似乎仍然能更好地描述语言事实。数学上的形式语言理论将语言定义为一个句子集合。也就是说，每个句子要么合乎语法，要么不合语法；在这个框架中不需要概率。但自然语言并非如此。自然语言的科学理论必须解释许多让母语者对其语法性感到不确定的短语和句子（参见 Chris Manning 的文章及其对短语“as least as”的讨论），而且有些短语，一些说话者认为完全合乎语法，另一些人认为完全不合语法，还有一些人则会在不同场合下摇摆不定。最后，有些用法在一种语言中很罕见，但如果关注实际数据，就不能忽视它们。例如，动词quake在词典中被列为不及物动词，这意味着根据范畴语法理论，下面的 (1) 合乎语法，而 (2) 不合语法。

大地震动了。
？它震动了她的肠子。

但 (2) 实际上出现为英语的一个句子。这给范畴理论带来了两难困境。当观察到 (2) 时，我们要么任意地将其视为模型范围之外的错误而予以摒弃（没有任何理论依据这样做），要么必须修改理论以允许 (2)，而这往往会导致接受大量我们宁愿其保持不合语法的句子。正如 Edward Sapir 在 1921 年所说：“所有语法都有漏洞。”但在概率模型中就没有困难；我们可以说quake被用作不及物的概率很高，被用作及物的概率很低（如果我们愿意，还可以通过次范畴化进一步描述这些用法）。

Steve Abney 指出，概率模型更适合对语言变化进行建模。他举了一个 15 世纪英国人的例子，此人每天去酒馆点“Ale！”。在范畴模型下，你完全可以预料有一天他会得到鳗鱼，因为元音大推移在他头脑中翻转一个布尔参数的时间，比在酒馆老板头脑中翻转该参数的时间早了一天。在概率框架中，会有多个参数，或许是连续值，很容易看出这种转变如何在两个世纪里逐渐发生。

因此，语法性似乎不是一种范畴性的、确定性的判断，而是一种内在的概率性判断。任何花时间对真实句子语料库进行观察的人都会明白这一点，但对于那些认为研究对象是自己关于语法性的直觉集合的人来说，这可能仍然未知。观察和直觉在科学史上都被使用过，所以两者都不“新颖”，但科学的主导模型是观察，而不是直觉。

现在让我们思考一下我认为乔姆斯基与统计模型的主要分歧点："准确描述"与"洞见"之间的张力。这是一个古老的区分。查尔斯·达尔文（生物学家，1809–1882）以其富有洞见的理论最为著名，但他强调准确描述的重要性，他说："虚假的事实对科学的进步极为有害，因为它们往往长久存在；但错误的观点，若有一些证据支持，则危害不大，因为每个人都能从证明其谬误中获得有益的快感。"更近一些，理查德·费曼（物理学家，1918–1988）写道："物理学可以没有证明而前进，但我们不能没有事实而继续。"

蝴蝶

另一方面，欧内斯特·卢瑟福（物理学家，1871–1937）鄙视单纯的描述，他说："所有的科学要么是物理学，要么是集邮。"乔姆斯基与他站在一起："你也可以收集蝴蝶并做许多观察。如果你喜欢蝴蝶，那很好；但这样的工作绝不能与研究混为一谈，研究是要发现解释性原理的。"

对双方都予以承认的是罗伯特·密立根（物理学家，1868–1953），他在诺贝尔奖获奖演讲中说："科学靠两只脚向前走，即理论和实验……有时先迈出一只脚，有时是另一只，但只有同时使用两者才能取得持续进步。"

两种文化

Leo Breiman

在所有这些杰出科学家发表意见之后，我认为对当前讨论最相关的贡献是 Leo Breiman（统计学家，1928–2005）2001年的论文统计建模：两种文化。在这篇论文中，Breiman 暗指 C. P. Snow，描述了两种文化：

首先是数据建模文化（据 Breiman 估计，98%的统计学家信奉此道），它认为自然可以被描述为一个黑箱，其背后有一个相对简单的模型，将输入变量映射到输出变量（或许还加入了一些随机噪声）。统计学家的职责是明智地选择一个反映自然现实的底层模型，然后使用统计数据来估计模型的参数。

其次是算法建模文化（2%的统计学家以及生物学、人工智能和其他处理复杂现象领域的研究人员信奉此道），它认为自然的黑箱不一定能用简单模型来描述。复杂的算法方法（如支持向量机、提升决策树或深度信念网络）被用来估计从输入变量到输出变量的映射函数，但我们并不期望从这个复杂算法中浮现出的函数的形式能反映真实的底层本质。

看来算法建模文化正是乔姆斯基最强烈反对的。不仅仅是因为模型是统计的（或概率的），而是因为它们产生了一种形式，这种形式虽然能准确地建模现实，却不易被人类解读，并且不声称对应于自然所使用的生成过程。换句话说，算法建模描述的是确实发生了什么，但它没有回答为什么的问题。

Breiman 的文章解释了他对第一种文化——数据建模——的反对意见。基本上，数据建模得出的结论是关于模型的，而不是关于自然的。（题外话：我记得在 2000 年听 James Martin——火星维京任务负责人——说，他作为航天工程师的工作不是登陆火星，而是登陆地质学家提供的火星模型。）问题在于，如果模型不能很好地模拟自然，那么结论就可能是错的。例如，线性回归是统计学家工具箱中最强大的工具之一。因此，许多分析一开始就假设“数据由线性模型生成……”，而缺乏对数据实际上并非如此生成时会发生什么的充分分析。此外，对于复杂问题，通常有许多替代的好模型，每个模型的拟合优度指标都非常相似。数据建模者如何在它们之间选择？总得有所取舍。Breiman 邀请我们放弃这样一种想法：我们能够唯一地建模自然函数从输入到输出的真实底层形式。相反，他要求我们满足于一个能很好地解释观测数据、并能很好地泛化到新的、以前未见过的数据的函数，但这个函数可能以复杂的数学形式表达，可能与“真实”函数的形式毫无关系（如果这种真实函数存在的话）。Chomsky 采取相反的方法：他倾向于保留一个简单、优雅的模型，而放弃模型能很好地表示数据的想法。相反，他宣称他所称的表现数据——人们实际所做的——是语言学无法触及的；真正重要的是能力——他想象他们应该做的。

Can't explain that.
Bill O'Reilly

Laplace

2011 年 1 月，电视名人 Bill O'Reilly 用他的声明“潮水涨，潮水落。从不出错。你无法解释这一点”介入了不止一场文化战争，他以此作为上帝存在的论据。O'Reilly 被批评者嘲笑，因为他不知道潮汐可以通过描述太阳、地球和月球引力相互作用的偏微分方程组轻松而简洁地解释（这一事实最早由 Laplace 在 1776 年算出，此后得到了相当大的改进；当拿破仑问他为什么造物主没有进入他的计算时，Laplace 说“我不需要那个假设。”）。（O'Reilly 似乎也不知道 Deimos 和 Phobos（整个太阳系中我最喜欢的两个卫星，还有 Europa、Io 和 Titan），也不知道火星和金星绕太阳运行，也不知道金星没有卫星的原因是因为它离太阳太近，以至于没有足够的空间维持稳定的月球轨道。）

但O'Reilly意识到，无论他的批评者如何看待他在天文学上的无知都无关紧要，因为他的支持者认为他恰恰触及了关键问题：为什么？他不在乎潮汐如何运作，只要求告诉他潮汐为什么运作。为什么月球恰好处于合适的距离，从而产生温和的潮汐，并对地球自转轴产生稳定作用，进而保护这里的生命？为什么引力以它现有的方式运作？为什么竟然有事物存在，而不是什么都不存在？O'Reilly说得对，这些为什么的问题只能由神话创作、宗教或哲学来回答，而不是科学。

Chomsky的哲学基于这样一种观念：我们应当关注深层的为什么，而对现实的单纯解释并不重要。在这一点上，Chomsky与O'Reilly完全一致。（我承认，前一句话在一个用报纸或电视语料训练的概率模型中出现的概率极低。）Chomsky认为语言理论应当简单易懂，就像一个线性回归模型——我们知道底层过程是一条直线，所要做的只是估计斜率和截距。

例如，考虑Chomsky在《管约论讲义》（1981）中提出的pro-drop语言概念。在英语中，我们说“I'm hungry”，表达出代词“I”。但在西班牙语中，人们用“Tengo hambre”（字面意为“有饥饿”）表达同样的想法，省略了代词“Yo”。Chomsky的理论是，存在一个“pro-drop参数”，它在西班牙语中为“真”，在英语中为“假”；一旦我们发现了描述所有语言的那一小组参数，以及每种语言中这些参数的取值，我们就实现了真正的理解。

Dana Carvey

问题在于，现实比这一理论更加杂乱。以下是英语中一些省略代词的例子：

“Not gonna do it. Wouldn't be prudent.”（Dana Carvey，模仿George H. W. Bush）
“Thinks he can outsmart us, does he?”（Evelyn Waugh，《The Loved One》）
“Likes to fight, does he?”（S.M. Stirling，《The Sunrise Lands》）
“Thinks he's all that.”（Kate Brian，《Lucky T》）
“Go for a walk?”（无数狗主人）
“Gotcha!” “Found it!” “Looks good to me!”（常见表达）

语言学家可以就这些事实的解读争论上几个小时，但语言的多样性似乎远比一个pro-drop参数的单一布尔值要复杂得多。我们不应接受一个把模型简单性置于准确反映现实之上的理论框架。

从一开始，Chomsky 就聚焦于语言的生成一侧。从这一侧来看，讲述一个非概率性的故事是合理的：我明确地知道我想要表达的想法——我从一个单一的语义形式出发——因此我所要做的就是选择词语把它说出来；为什么这不能是一个确定性的、范畴性的过程呢？如果 Chomsky 关注的是另一侧，即解释，正如 Claude Shannon 所做的那样，他或许会改变看法。在解释（例如语音识别）中，听者接收到一个嘈杂、模糊的信号，需要判断众多可能的意图信息中哪一个最有可能。因此，这显然本质上是一个概率问题，正如语音识别领域的所有研究者以及其他从事解释工作的领域的科学家们早就认识到的那样：天文学家 Laplace 在 1819 年说：“概率论不过是化为计算的常识，”物理学家 James Maxwell 在 1850 年说：“这个世界的真正逻辑是概率的演算，它考虑的是概率的大小，这种概率是——或者应该是——存在于一个理性的人心中的。”

最后，Chomsky 不喜欢统计模型的另一个原因是，它们倾向于把语言学变成一门经验科学（一门关于人们实际如何使用语言的科学），而不是一门数学科学（对形式语言模型的数学性质的研究，而非对语言本身的研究）。Chomsky 更倾向于后者，正如他在 Aspects of the Theory of Syntax（1965）中的陈述所表明的那样：

语言学理论是心理主义的，因为它关注的是发现实际行为背后的心理现实。观察到的语言使用……可能提供证据……但如果语言学要成为一门严肃的学科，它显然不能构成语言学的研究主题。

我无法想象 Laplace 会说对行星的观测不能构成轨道力学的研究主题，或者 Maxwell 会说对电荷的观测不能构成电磁学的研究主题。诚然，物理学考虑的是对纷繁复杂的现实世界进行抽象所得的理想化。例如，一类力学问题忽略摩擦。但这并不意味着摩擦不被视为物理学研究主题的一部分。

柏拉图的洞穴

那么 Chomsky 怎么能说对语言的观察不能构成语言学的研究主题呢？这似乎源于他作为柏拉图主义者和理性主义者、或许还有几分神秘主义者的视角。正如柏拉图的洞穴寓言，Chomsky 认为我们应该关注语言背后的理想、抽象形式，而不是恰好能在现实世界中被感知的语言的表面现象。这就是为什么他对语言表现不感兴趣。但 Chomsky 和柏拉图一样，必须回答这些理想形式从何而来。Chomsky（1991）表明他乐于接受一个神秘主义的答案，尽管他把词汇从“灵魂”换成了“生物禀赋”。

柏拉图的答案是，知识是从更早的存在中‘回忆’起来的。这个答案需要一个机制：也许是不朽的灵魂……用今天更贴近我们的术语来重述柏拉图的答案，我们会说认知系统的基本属性是心灵固有的，是人类生物禀赋的一部分。

拉斯科马

柏拉图认为，比如一匹马的理想形态，比我们在世界上能感知到的任何一匹具体的马都更重要，这是合理的。在公元前400年，人们认为物种是永恒不变的。我们现在知道事实并非如此；另一面洞穴墙壁上——在拉斯科——的那些马现在已经灭绝了，而现存的马仍在随着时间缓慢演化。因此，并不存在单一的、理想的、永恒的“马”的形态。

我们现在也知道语言也是如此：语言是复杂的、随机的、偶然的生物过程，受制于演化和文化变化的无常。构成一种语言的东西并不是一种永恒的、理想的形式——由少量参数的设定所代表——而是复杂过程的偶然产物。既然它们是偶然的，似乎就只能用概率模型来分析。既然人们必须不断理解他人不确定、含糊、嘈杂的言语，似乎他们必定在使用某种类似概率推理的东西。乔姆斯基出于某种原因想要回避这一点，因此他必须把语言使用的实际事实宣布为禁区，并宣称真正的语言学只存在于数学领域，在那里他可以强加自己想要的形式体系。然后，为了把语言从这个抽象的、永恒的、数学的领域带入人们的头脑中，他必须虚构出一种恰好与那个永恒领域相调谐的神秘官能。从数学的角度来看，这可能非常有趣，但它错失了语言是什么以及它如何运作的关键。

致谢

感谢 Ann Farmer、Fernando Pereira、Dan Jurafsky、Hal Varian 等人对本文的评论和建议。

注释书目

Abney, Steve (1996) Statistical Methods and Linguistics, in Klavans and Resnik (eds.) The Balancing Act: Combining Symbolic and Statistical Approaches to Language, MIT Press.
对语言处理的统计方法的一份出色的总体介绍，涵盖了一些不常被讨论的领域，如语言变化和个体差异。
Breiman, Leo (2001) Statistical Modeling: The Two Cultures, Statistical Science, Vol. 16, No. 3, 199-231.
Breiman 很好地描述了这两种方法，解释了他所采用方法的优点，并在与著名统计学家 Cox、Efron、Hoadley 和 Parzen 的非常有趣的评论中为自己的观点辩护。
Chomsky, Noam (1956) Three Models for the Description of Language, IRE Transactions on Information theory (2), pp. 113-124.
比较了有限状态语法、短语结构语法和转换语法。引入了“无色的绿色想法愤怒地睡觉”。
Chomsky, Noam (1967) Syntactic Structures, Mouton.
对乔姆斯基理论的篇幅如书般的阐述，十年来一直是语言学的领先论述。声称概率模型无法洞察句法。
Chomsky, Noam (1969) Some Empirical Assumptions in Modern Philosophy of Language, in Philosophy, Science and Method: Essays in Honor or Ernest Nagel, St. Martin's Press.
声称“句子的概率”这一概念完全无用。
Chomsky, Noam (1981) Lectures on government and binding, de Gruyer.
对乔姆斯基理论的修订；这一版本引入了普遍语法。我们引用它是因为它涵盖了 pro-drop 等参数。
Chomsky, Noam (1991) Linguistics and adjacent fields: a personal view, in Kasher (ed.), A Chomskyan Turn, Oxford.
我在这篇文章中找到柏拉图引文，该文由大不列颠共产党发表，显然是由一个完全没有语言学训练、但带有政治议程的人发表的。
Gold, E. M. (1967) Language Identification in the Limit, Information and Control, Vol. 10, No. 5, pp. 447-474.
Gold 在形式语言理论中证明了一个结果，我们可以（带点艺术加工地）这样表述：想象一个由猜者和选者两名玩家参与的游戏。选者对猜者说：“这里有无穷多个语言。我要从中选一个，然后开始给你读来自该语言的句子。在你第 N 个生日时，会有一场对错测验，我给你 100 个你还没听过的句子，你必须说出它们是否来自该语言。”对于这个无穷集合长什么样，以及选者如何挑选句子，有一些限制（例如，他可以被故意设置得很刁钻，但不能一遍又一遍地重复同一个句子）。Gold 的结果是：如果这个无穷语言集合全都由上下文无关文法生成，那么无论你为生日选择什么 N，都不存在一种策略能让猜者保证每次都 100% 正确。Chomsky 等人将这一结果理解为：儿童若没有天生的“语言器官”，就不可能学会人类语言。正如 Johnson (2004) 等人所表明的，这是一个无效的结论；在测验中拿到 100% 的任务（Gold 称之为语言辨识）与儿童所执行的语言习得任务实际上毫无共同之处，因此 Gold 定理并不相关。
Horning, J. J. (1969) A study of grammatical inference, Ph.D. thesis, Stanford Univ.
Gold 发现了一个否定性结果——上下文无关语言无法从示例中辨识出来，而 Horning 发现了一个肯定性结果——概率上下文无关语言是可辨识的（误差可控制在任意小的水平内）。没有人怀疑人类具有理解语言的独特先天能力（尽管这些能力在多大程度上是语言特有的、在多大程度上是与排序和形成抽象相关的一般认知能力，尚不清楚）。但 Horning 在 1969 年证明，Gold 不能被用作一个令人信服的论据，来支持一种除少数参数设定外规定了全部语言的天生语言器官。
Johnson, Kent (2004) Gold's Theorem and cognitive science, Philosophy of Science, Vol. 71, pp. 571-592.
我所见过的关于 Gold 定理实际说了什么、以及人们对其（正确和错误地）提出了哪些主张的最佳文章。结论是：Gold 对形式语言有所说明，但对儿童语言习得什么也没说。
Lappin, Shalom and Shieber, Stuart M. (2007) Machine learning theory and practice as a source of insight into universal grammar., Journal of Linguistics, Vol. 43, No. 2, pp. 393-427.
一篇出色的文章，讨论了刺激的贫乏、所有模型都有偏置这一事实、监督学习与无监督学习的区别，以及现代（PAC 或 VC）学习理论。它为那种由一组固定二元参数构成的普遍语法模型提供了替代方案。
Manning, Christopher (2002) Probabilistic Syntax, in Bod, Hay, and Jannedy (eds.), Probabilistic Linguistics, MIT Press.
一篇引人入胜的概率句法导论，说明了为什么它是比分类句法更好的语言事实模型。涵盖了“语料库语言学的乐趣与风险”。
Norvig, Peter (2007) How to Write a Spelling Corrector, unpublished web page.
展示了实现概率统计拼写纠错算法的工作代码。
Norvig, Peter (2009) Natural Language Corpus Data, in Seagran and Hammerbacher (eds.), Beautiful Data, O'Reilly.
对上述文章的扩展；展示了如何实现三项任务：文本分词、密码解码和拼写纠错（形式比上一篇文章稍完整一些）。
Pereira, Fernando (2002) Formal grammar and information theory: together again?, in Nevin and Johnson (eds.), The Legacy of Zellig Harris, Benjamins.
当我开始撰写你现在阅读的这个页面时，我专注于发生在马萨诸塞州剑桥市的事件，那里离家4800公里。在做了一些研究之后，我惊讶地发现，关于这个主题的三篇最佳文章中有两篇的作者，总共坐在离我办公桌不到10米的地方：Fernando Pereira和Chris Manning。（第三位，Steve Abney，坐在3700公里之外。）但也许我不应该感到惊讶。我记得在ACL上做过一次关于Google使用的基于语料库的语言模型的演讲，当时还是宾夕法尼亚大学教授的Fernando评论说：“我感觉自己像个粒子物理学家，而你们拥有唯一的超级对撞机。”几年后，他搬到了Google。Fernando还以他的名言“我年纪越大，我在乔姆斯基层级中走得越深”而闻名。他这里的文章涵盖了一些与我相同的领域，但他在解释可用的概率模型范围以及它们如何有用方面走得更远。
Plato (c. 380BC) The Republic.
此处引用是为了洞穴寓言。
Shannon, C.E. (1948) A Mathematical Theory of Communication, The Bell System Technical Journal, Vol. 27, pp. 379-423.
一篇极具影响力的文章，开创了信息理论领域，引入了“比特”一词和噪声信道模型，演示了英语的连续n-gram近似，描述了语言的马尔可夫模型，定义了相对于这些模型的熵，并促进了电信行业的发展。

Peter Norvig

n：	0	1	2	3	4	5	6	7	8	9
h：	0	0	1	3	6	10	15	21	28	36