arXiv cs.CL· Bastian Bunzeck, Francesca Padovani·· 14 小时前AI 评分22
研究:合成儿童-成人对话在发育上不具合理性
Synthetic Child-Adult Interactions Are Not Developmentally Plausible
AI 导读
一项 arXiv 研究对比合成 TinyDialogues 数据集与自然对话后发现,合成数据在词汇层面与自然数据相当,却严重低估了口语交互碎片化、杂乱的特征。研究提出用真实对话数据做指令微调,初步实验显示小模型经适度参数高效微调后可接近自然数据的统计倾向。
正文 · AI 翻译
摘要:合成数据已成为训练语言模型的常用资源,这一趋势也蔓延到了对发育上合理的语言建模研究。然而,语言模型生成的儿童-成人互动是否真的与自然互动相似,目前仍不清楚。我们在广泛的语言学指标上,将合成的 TinyDialogues 数据集与自然对话进行比较。虽然合成数据在词汇层面与自然数据相符,但它严重低估了口语互动杂乱、碎片化的本质。为缓解这一问题,我们提出用由真实对话创建的数据进行指令微调,并在初步研究中表明,小型模型在经过适度的参数高效微调后,能够近似自然数据的统计倾向。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.35029 [cs.CL] |
| (或 arXiv:2610.35029v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.35029 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Francesca Padovani [查看电子邮件]
[v1]
2026年10月26日星期一 08:40:54 UTC(9,965 KB)
来源:arXiv cs.CL · arxiv.org