大语言模型在资源受限边缘设备上的部署：从业者综述

Large Language Model Deployment on Resource-Constrained Edge Devices: A Practitioners Survey

AI 导读

这篇综述梳理了让 LLM 能在资源受限的移动与边缘设备上部署的最新软硬件优化技术。边缘部署可带来本地数据处理、成本节省、更低延迟和个性化响应等收益，但 LLM 庞大的资源需求仍是主要障碍。

正文 · AI 翻译

摘要：大型语言模型（LLM）已经改变了人工智能（AI）的许多领域，但其庞大的资源需求限制了它们在移动端和边缘设备上的部署。尽管 LLM 在各种应用中展现了令人印象深刻的能力，但下一个挑战是将这些模型部署到资源受限的边缘设备上。近期在软件优化和专用硬件方面的创新使得在边缘设备上部署 LLM 成为可能。边缘部署带来的好处包括本地数据处理、成本节省、降低延迟和个性化响应。本文综述了使 LLM 能够在边缘设备上部署的最新可行技术。

主题：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2611.09075 [cs.LG]
	（或本版本的 arXiv:2611.09075v1 [cs.LG]）
	https://doi.org/10.48550/arXiv.2611.09075 由 DataCite 颁发的 arXiv DOI（待注册）
相关 DOI：	https://doi.org/10.1109/CCWC67433.2026.11393769 链接到相关资源的 DOI

提交历史

来自：Rahul Maliakkal [查看电子邮件]
[v1] 2026年11月6日星期五 07:01:48 UTC（118 KB）

来源：arXiv cs.CL · arxiv.org