arXiv cs.CL· Leonardo Araujo·· 10 小时前AI 评分31
LipSpell:结合区别特征编辑距离、键盘几何与语料频率的语言无关拼写纠错音韵评分框架
LipSpell: A Language-Independent Phonetic Scoring Framework for Spelling Correction Combining Distinctive-Feature Edit Distance, Keyboard Geometry, and Corpus Frequency
AI 导读
LipSpell 是一个语言无关的音韵评分引擎,搭配可替换的语言特定 G2P 前端、键盘映射与词库,融合基于 IPA 区别特征的音素距离矩阵、物理键盘几何与语料 unigram 频率先验。
正文 · AI 翻译
摘要:自动拼写纠正必须同时处理键盘输入错误,以及写作者根据单词发音近似拼写而产生的认知或语音拼写错误。传统拼写检查器要么依赖正字编辑距离和键盘邻近性——当语音错误在多个字符上偏离时难以奏效——要么依赖以英语为中心的语音哈希,如 Soundex 和 Metaphone。我们提出 LipSpell,一个统一的、与语言无关的语音评分引擎,搭配可替换的语言特定 G2P 前端、键盘映射和词典,集成了:(1) 由通用 IPA 区别特征预计算的 |P|x|P| 音素距离矩阵,(2) 物理键盘几何结构,以及 (3) 语料库一元频率先验,并通过两阶段对称删除和七类语音编码索引加速。在六个英语基准(包括来自 TOEFL-Spell 的 1,000 个 L2 错误)上,LipSpell 在每个数据集上都优于 Norvig 和 Hunspell,并在 Norvig1(78.52% 对 75.56%)、Holbrook(32.00% 对 26.67%)和 TOEFL-Spell(77.30% 对 72.80%)上胜过 Aspell。在跨越五个语系分支(日耳曼、罗曼、斯拉夫、闪米特、突厥)、三个语系(印欧、亚非、突厥)和三种文字的六种语言上评估,LipSpell 在巴西葡萄牙语上实现了强固定权重迁移(在 n=500 的维基百科上,无 NFD 容忍时 Top-1 为 73.00%,有 NFD 时为 75.80%,而 Norvig 为 66.40%、Hunspell 为 64.20%、Aspell 为 64.00%),在俄罗斯西里尔字母上为 85.67%(Norvig 为 78.50%)。在 50/50 干净非词切分、词典清理和弱字符插入删除的情况下,调优在葡萄牙语(86.97% 对 76.75%)、土耳其语(81.67% 对 79.05%)、希伯来辅音文字(74.59% 对 62.30%)和法语(74.53% 对 67.92%)上相较 Norvig 取得显著提升,而固定权重对英语(80.37%)和俄语(85.67%)仍为最优。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.24285 [cs.CL] |
| (或 arXiv:2611.24285v2 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.24285 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Leonardo Araujo [查看邮箱]
[v1]
2026年11月18日星期三 11:59:47 UTC(55 KB)
[v2]
2026年11月19日星期四 18:18:27 UTC(55 KB)
来源:arXiv cs.CL · arxiv.org