Minions：基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云
Minions: A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices
Apple 研究团队提出 Minions，一个将多台 macOS 设备上闲置的 Apple Silicon GPU 聚合起来、执行大规模机器学习推理的动态分布式虚拟 GPU 云。系统支持灵活的 GPU 推理任务执行、容错和高效资源利用，让团队无需额外采购 GPU 即可复用现有硬件。研究称，在集中式 GPU 资源受限的环境中，闲置 macOS 设备可转化为实用的分布式 GPU 推理平台。
作者Jianhua Li、Yun Xing、Girisha De Silva、Ryan Flint、Kai Yuan、Sean Suchter
对 GPU 加速机器学习推理日益增长的需求，暴露了集中式 GPU 基础设施的局限性，包括成本高昂、弹性有限以及在资源受限时等待时间长。与此同时，基于 Apple Silicon 的现代 macOS 设备配备了强大的 GPU，而这些 GPU 在日常使用中大部分时间处于闲置状态。本文提出 Minions，一种动态、分布式的虚拟 GPU 云，它聚合了 macOS 设备上闲置的 Apple Silicon GPU，以执行大规模机器学习推理工作负载。Minions 使团队能够利用现有硬件，而无需额外采购 GPU。该系统提供灵活的 GPU 推理任务执行、容错能力和高效的资源利用。我们的经验表明，在集中式 GPU 资源受限的环境中，闲置的 macOS 设备可以被转化为一个实用的分布式 GPU 推理平台。
相关阅读与更新。
搭载 Apple silicon 的 Mac 在 AI 开发者和研究人员中越来越受欢迎，他们希望用自己的 Mac 试验最新的模型和技术。借助 MLX，用户可以在 Mac 上高效地探索和运行 LLM。它允许研究人员试验新的推理或微调技术，或在自己的硬件上、在私密环境中研究 AI 技术。MLX 适用于所有 Apple silicon 系统，并且与最新的…
加速 LLM 推理是一个重要的机器学习研究问题，因为自回归 token 生成计算开销大且相对缓慢，而提升推理效率可以降低用户的延迟。除了持续致力于在 Apple silicon 上加速推理之外，我们最近在加速 LLM 推理方面也取得了重大进展，这些进展面向业界广泛用于生产应用的 NVIDIA GPU…
来源：Apple Machine Learning Research · machinelearning.apple.com