arXiv cs.CL· Zandi Eberstadt·· 11 小时前AI 评分23
指令微调模型比人类产生更多句法重叠，但条件复用更少
Instruction-Tuned Models Locally Produce More Syntactic Overlap -- But Not More Conditional Reuse -- Than Humans Do
AI 导读
研究基于 Blevins 等人的替换范式数据，在 16 个开源 Llama 和 Gemma 模型（1B-70B，含预训练与指令微调版本）上各测 1,901 个匹配位置，衡量相邻轮次对上下文无关文法（CFG）规则的复用。
正文 · AI 翻译
摘要：句法趋同——即说话者在语言上倾向于向其对话者的语法特征靠拢——是人类对话中一个有充分记录、且在很大程度上是隐性的特征。大型语言模型相对于人类基线（包括在广泛的句法结构范围内）是否表现出与人类用户类似的句法趋同，仍是一个未解的问题。本研究使用 Blevins 等人 [2026] 的替换范式数据，其中模型生成内容替换了既有的人类对话中某一位说话者的轮次，在每模型 1,901 个匹配位置上，测量了十六个开放权重 Llama 和 Gemma 模型（1B-70B，预训练与指令微调）对上下文无关文法（CFG）规则的相邻轮次复用情况。每个模型与前一个人类轮次的 CFG 规则重叠都大于与一个抽样的无关人类启动语的重叠（这是一种与上下文相关的效应，并不能将句法启动与话题连续性区分开来），并且这种实际与随机的差异在低频规则上更大。每个指令微调模型在自然输出上与真实启动语的重叠也大于其所替换的人类回应，并且所有八对匹配架构在指令微调后都表现出更大的真实启动语重叠。然而，相对于预训练变体，指令微调输出与无关启动语的重叠更多，实际与随机的增量更小，并且在目标规则集大小保持不变时，条件规则复用几率更低。在探索性分析中，每个模型与前一轮次的平均词汇和语义相似度都高于匹配的人类回应。指令微调模型在所有八对架构中还产生了比其预训练对应模型平均语义相似度更高的回应，而词汇相似度的结果则更为异质。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2607.26015 [cs.CL] |
| （或 arXiv:2607.26015v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.26015 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zandi Eberstadt [查看电子邮件]
[v1]
2026年7月28日星期二 17:27:47 UTC（47 KB）
[v2]
2026年11月1日星期日 00:18:39 UTC（47 KB）
来源：arXiv cs.CL · arxiv.org