arXiv cs.CL· Xiaozhe Ji, Renfen Hu, Hai Hu·· 10 小时前AI 评分29
语言模型掌握多少汉字语音知识？PinyinBench 基准揭示声调信息最难获取
Phonological Knowledge of Chinese Characters in Language Models
AI 导读
研究者提出 PinyinBench 基准，覆盖同音字、声母韵母声调等语音特征及多音字，评测 17 个纯文本与多模态语言模型。前沿模型 DS-v4-flash 在同音字判断中得分 90%+，但两字仅声调不同时准确率降至 72%。探测显示声调可从嵌入向量中高度解码，而分段信息随层深显著提升；激活引导对分段表征有效，对声调影响微弱。
正文 · AI 翻译
摘要：语言模型（LM）对汉字掌握多少语音知识，这些知识又是如何表示和使用的？我们提出 PinyinBench，一个受控基准，涵盖同音字、语音特征（声母、韵母和声调）以及多音字。我们通过三种互补方法考察了 17 个纯文本和多模态语言模型：行为评估、逐层探测和激活引导。在行为层面，模型对声母和韵母表现出大量知识，前沿模型（DS-v4-flash）在同音字判断中得分超过 90%，此时两个汉字不共享任何语音特征。然而，当两个汉字仅声调不同时，其准确率骤降至 72%。探测表明，声调从嵌入中高度可解码，并随层数增加而略有改善；而音段信息起初可解码性较低，随深度增加而显著改善。激活引导表明，音段表示能够系统地影响生成，而声调的影响则弱得多。此外，带音频的训练提高了语音可解码性，包括声调，但引导效果并未相应提高。总之，这些发现揭示了音段信息和声调信息具有不同的表示与功能特征，声调信息更难获取和操控，这表明需要结合评估、探测和因果干预来理解语言模型中的语言知识。
| 评论： | 17 页，11 幅图，10 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.05803 [cs.CL] |
| （或 arXiv:2611.05803v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05803 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaozhe Ji [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 01:22:05 UTC（1,549 KB）
来源：arXiv cs.CL · arxiv.org