arXiv cs.CL· Laya Iyer, Chen Shani·· 12 小时前AI 评分20
词性决定效果：LLM 后训练中概念增强的 POS 影响研究
Every Part Has Its Role: Part-of-Speech Effects in LLM Post-Training
AI 导读
研究复现并扩展了概念增强方法，将替换目标词的范围从名词扩展到动词和形容词，考察承载概念信号的词性（POS）如何影响困惑度与下游表现。结果显示，概念增强在新闻文本上最稳定地改善困惑度且与词性无关，而动词带来最可靠的下游收益。CKA 与线性探针的表示分析表明，下游增益最大的条件未必是内部表示改变最大的条件。
正文 · AI 翻译
摘要：大型语言模型通常使用下一词元预测（NTP）进行训练，这种训练奖励的是预测特定词元，而不是显式考虑不同词语或表达之间的语义相似性。此前的工作通过用最小变化的句子扩充训练数据来应对这一局限，这些句子将目标词替换为概念上相关的替代词，例如，“The tired coach ran home” $\rightarrow$ {"The tired trainer ran home", "The tired instructor ran home", ...}。这种概念扩充提升了性能，但其有效性是否取决于概念在句子中表达的位置仍不清楚。我们复现并扩展了先前的工作 $\textit{beyond nouns}$，将其扩展到动词和形容词，探究承载概念信号的词性（POS）是否影响困惑度和下游性能。我们在不同评估设置中发现了不同的模式：概念扩充在新闻文本上最稳定地改善困惑度，且与所使用的词性无关，而动词则提供最可靠的下游收益。尽管存在这些行为差异，使用 CKA 和线性探测进行的表征分析表明，产生最大下游收益的条件并不一定是那些最改变模型内部表征的条件。综合来看，这些结果表明概念扩充的有效性取决于概念信息在训练期间被引入的位置和方式。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29843 [cs.CL] |
| （或 arXiv:2610.29843v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29843 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Laya Iyer [查看电子邮件]
[v1]
2026年10月21日星期三 15:05:51 UTC（1,568 KB）
来源：arXiv cs.CL · arxiv.org