arXiv cs.AI· Keegan Wang·· 3 天前AI 评分41
在前沿 LLM 上迭代，在 SLM 上部署：一种智能体任务蒸馏方法
Iterate on an LLM, Serve on an SLM
AI 导读
研究者提出先在前沿模型 GPT-5.4-nano 上用真实流量反馈迭代提示词、待行为收敛后再通过 SFT 将生产行为蒸馏进 SLM 的两步法。在家庭护理排班智能体案例中，基于 11.6k 条生产决策用 LoRA 微调的 Qwen3-8B 达到 0.913 一致率，而教师模型 GPT-5.4-nano 重跑自身记录提示词时自洽率仅 72.7%。
正文 · AI 翻译
摘要：随着前沿大语言模型（LLM）能力的增强，运行它们的成本也随之上升。与此同时，小语言模型（SLM）的能力也在增强，但其成本基本保持稳定，对于智能体所分解出的狭窄、重复的子任务，其推理成本要低 5 至 40 倍。然而，长期存在的限制因素是如何以快速、高效且经济的方式让小型模型表现出正确的行为。遗憾的是，在大多数情况下，零样本小型模型在狭窄的生产任务上表现不佳。此外，每当行为发生变化就重新训练一个模型，迭代速度太慢。我们提出按顺序完成这两步。首先，在前沿模型上于提示空间（prompt space）中开发所需行为，并借助实时流量的即时反馈。然后，一旦行为收敛，通过监督微调（SFT）将记录下来的生产行为（而非对其的合成模仿）蒸馏到 SLM 中。我们通过一个面向居家护理机构的排班智能体展示了该方法的恰当用例，该智能体在 GPT-5.4-nano 上为每个护理员-班次对展开一个是/否安全决策。一个基于 11.6k 条记录的生产决策训练的 LoRA 微调 Qwen3-8B 达到了 0.913 的一致率，而教师模型（GPT-5.4-nano）在其自身记录的提示上重新运行时，与自身的一致率仅为 72.7%，这表明 SLM 可能还更具一致性。此外，当两者出现分歧时，一位不知情的专业排班员以 48 比 29 支持学生模型。最后，我们发现 SLM 的中位延迟约低 2.5 倍，且成本仅为一小部分。我们相信，这种快速构建、实时反馈和廉价推理的生命周期是其他人构建类似系统的蓝图。
| 评论： | 已被 NeurIPS 2026 第二届企业任务智能体 AI 基准与应用研讨会（AABA4ET）接收 |
| 主题： | 人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.14576 [cs.AI] |
| （或 arXiv:2610.14576v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14576 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Keegan Wang [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 04:51:24 UTC（168 KB）
来源：arXiv cs.AI · arxiv.org