跳到正文
arXiv cs.CL· Evan Li, Krishna Deshpande, Wen Cheng, Shyamnath Gollakota·· 10 小时前AI 评分58

Mobile AI Factory:为手机定制专用小语言模型的智能体系统

Mobile AI Factory: Building Specialized Language Models for Your Mobile Device

AI 导读

Mobile AI Factory 是一个智能体系统,可根据任务说明和目标手机自动构建经过微调与量化的端侧小语言模型,由编排 LLM 决定调超参、挖掘真实数据还是生成合成样本,并用固定规则回滚损害精度的改动。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:运行在移动设备上的小型语言模型(SLM)可以保护用户数据隐私,并在无网络连接时工作。但只有当它们针对目标任务进行微调、并按目标设备调整规模时才能表现良好,而这一过程目前需要专家反复调优。我们提出{\it Mobile AI Factory},一个智能体系统,可为给定任务和手机构建经过微调、量化的 SLM。给定任务规范和目标手机,一个编排 LLM 决定是调优超参数、挖掘真实数据,还是生成合成示例,同时固定规则会回滚损害准确率的更改。该工厂在基础模型和量化方案中从小到大搜索模型,在搜索过程中调整其准确率目标,并使用目标手机在推理引擎和后端上的真实测量结果。我们在十个任务和四款 Android 手机上评估 Mobile AI Factory。在未见过的测试集上,其端侧模型在五个任务上优于两个五样本前沿模型,最高领先 0.34,并在另外三个任务上与它们持平。在实体抽取任务上,其搜索与穷举训练全部 27 个模型变体的结果相差在 0.03 以内,而使用的 GPU 时间少 19$\times$。手机测量也很重要:最佳配置因手机而异。在没有手机测量结果的情况下,即使向 Claude Opus 5.5 提供完整的硬件和模型规格,它在 25\% 的简单和中等案例以及 60\% 的困难案例中未能满足应用要求。代码见:this https URL。
主题: 计算与语言(cs.CL)
引用为: arXiv:2611.13509 [cs.CL]
  (或 arXiv:2611.13509v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.13509

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Wen Cheng [查看电子邮件]
[v1] 2026年11月10日星期二 03:29:29 UTC(283 KB)

来源:arXiv cs.CL · arxiv.org