arXiv cs.CL· Yo Ehara·· 10 小时前AI 评分18
将经典可读性公式解释为惊奇度
Interpreting Classical Readability Formulae as Surprisal
AI 导读
研究从理论上证明,Flesch-Kincaid Grade Level 等经典可加型可读性公式的系数可解释为惊奇度:每个公式都是无记忆模型下逐词与逐句交叉熵之和,经 Zipf 定律与参考文本线性化后,系数可分解为每 nat 对应年级的尺度、Zipf 斜率与参考句长。
正文 · AI 翻译
摘要:惊奇度与阅读时间密切相关,在阅读认知科学中被广泛用作加工难度的度量。经典的易读性公式,如 Flesch-Kincaid 年级水平,通过预期阅读该文本的美国学校年级来给文本打分,是最广泛使用的实用文本难度度量,但其系数是无量纲的回归常数,从未与惊奇度联系起来。我们从理论上证明,这些系数可以解释为惊奇度:每个经典加性形式的公式都是无记忆模型下逐词和逐句交叉熵之和,一旦该模型通过齐普夫定律与语言联系起来,并且该公式被解读为其在参考文本处的线性化,每个系数就分解为以 nat 为单位的年级尺度、齐普夫斜率和参考句子长度。因此,年级成为惊奇度中的一个量。由于公式输出年级,而儿童词汇量已按年级测量,该解释恢复了公式隐含假设的词汇增长,并使其能够对照发展进行检验:在固定句子长度的情况下,Flesch-Kincaid 公式的词系数转换为每词每年级 0.18 nat 的一元惊奇度(在回归推导的公式中为 0.15 至 0.19),而规范性词根词汇增长(Biemiller 和 Slonim,2001)通过齐普夫定律转换后,在已知词汇前沿处给出每年 0.16 nat。词系数是一年的词汇增长,年级是一个词汇尺度。这一识别还产生了一个诊断(句子长度项不是无记忆惊奇度的项),并扩展到一个日语公式。
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.01359 [cs.CL] |
| (或 arXiv:2611.01359v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.01359 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yo Ehara [查看电子邮件]
[v1]
2026年10月31日星期六 23:58:01 UTC(84 KB)
来源:arXiv cs.CL · arxiv.org