arXiv cs.AI· Marjan Celikik, Ana Peleteiro Ramallo, Javier Morales·· 9 天前AI 评分35
微调小模型超越前沿大模型：Qwen3.5 语法概念标注实现 16 倍成本降低
Grammar Concept Annotation at Scale: Deployed Fine-Tuned Small Language Models Outperform Prompted Frontier Models
AI 导读
研究团队微调 Qwen3.5 小语言模型完成语法概念标注，部署的 0.8B 模型在概念、证据跨度、正确性三项嵌套匹配标准下的精确率与召回率均超过 GPT-5.4 和 GPT-5.6 Sol，服务成本降低约 16 倍。在线实验显示学习者参与度提升 15.8%，新课程 GMV 增长 13.2%。
正文 · AI 翻译
摘要：纠正性反馈是第二语言习得中证据最充分的驱动因素之一，但课堂上提供的纠正很少能累积成对语法掌握情况的可操作视图。经过提示的前沿模型可以从学习者与导师的课程转录中提供这样的视图，但在大规模应用时成本高昂。我们通过微调 Qwen3.5 小型语言模型（SLM）来弥补这一差距，使用经过筛选和重新平衡的教师生成监督数据，然后在我们平台上为所有英语学习者部署一个高效的 0.8B 模型，用于端到端的语法掌握追踪器。将标注契约内化到适配器权重中，使得 0.8B 模型能够搭配紧凑的匹配提示，而不是冗长的指令。在两个人工整理的基准测试上，部署的 0.8B 模型和 4B 参考比较模型在精确率和召回率上均优于经过提示的 GPT-5.4 和 GPT-5.6 Sol，且采用严格程度递增的嵌套匹配标准：概念、证据片段和正确性。部署的 0.8B SLM 将服务成本降低了约 16$\times$。一项功能级在线实验显示，学习者参与度显著提升（$+15.8\%$），关键业务指标也有所改善，包括预约课时（$+2.1\%$）和新课程带来的 GMV（$+13.2\%$）。
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7; I.2.6; K.3.1 |
| 引用为： | arXiv:2610.10827 [cs.CL] |
| （或 arXiv:2610.10827v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10827 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marjan Celikik [查看电子邮件]
[v1]
2026年10月7日星期三 19:31:24 UTC（144 KB）
来源：arXiv cs.AI · arxiv.org