在 Raspberry Pi 5 上用 Sixfab AI HAT+ 与 DEEPX DX-M1M 跑 CNN、VLM 和 SLM

大多数边缘 AI/ML 工作负载都适合在 CPU 上运行，但对于 CPU 无法满足的一小部分工作负载，加速器非常重要。Raspberry Pi 用户有多种加速选择，包括我们自己的 AI HAT+ 和 HAT+ 2，以及来自更广泛的 Raspberry Pi 生态系统的产品。在这里，我们在 Sixfab 和 DEEPX 的朋友们将讨论如何使用 Sixfab AI HAT+ 在 Raspberry Pi 5 上运行视觉和紧凑型语言 AI，以及三瓦 NPU 在边缘端能实现什么。

Raspberry Pi 让数百万工程师、学生和创客都能进行 AI 开发。下一步是从演示中只运行一次的模型，转向一个持续观察、理解和响应、且不依赖持续云连接的智能系统。

适用于 Raspberry Pi 5 的 Sixfab AI HAT+ 是一款第三方 AI 加速板，围绕 DEEPX DX-M1M NPU 构建。它以约 3 W 的典型持续 NPU 功耗，增加 25 TOPS 的专用 AI 加速能力，同时让 Raspberry Pi 的 CPU 腾出来处理摄像头、应用逻辑、连接和设备控制。在本文中，我们希望展示这种组合真正擅长什么、在哪些方面它不是合适的工具，以及如何在几分钟内从首次启动到首次推理。

为什么头条是 3 瓦，而不是 TOPS 数字

峰值 TOPS 数字很适合营销，但大多数边缘产品的成败取决于其功耗和散热预算。真实系统仍然需要为 Raspberry Pi 本身、摄像头、存储、网络以及设备实际控制的任何东西留出余量。一个在持续负载下保持在约 3 W 的加速器意味着更小的外壳、更简单（通常是被动）的散热，以及可以持续运行而不是短时爆发的 AI。

正是这种效率，让本地 AI 在最重要的地方变得实用：智能摄像头、机器人、工业设备和分布式传感器，在这些地方，云延迟、连接性或数据隐私否则会成为限制性约束。

工程说明： 约 3 W 的数字指的是 25 TOPS DX-M1M 选项的典型持续 NPU 功耗，而不是完整系统的墙插功耗。请始终用实际的摄像头、存储、工作负载和散热来测量你最终的 Raspberry Pi 配置。

一个 NPU 支持三类智能

大多数边缘产品从感知开始：CNN 检测物体、分割工作区域、估计姿态或标记异常事件。下一代边缘系统还需要理解上下文并传达它所看到的内容。DX-M1M 旨在用单块芯片和单一工具链支持整个这一过程。

CNN：高效的视觉感知

目标检测、分类、分割、姿态估计、深度和图像增强将摄像头像素转化为结构化事件。DEEPX ModelZoo 提供预优化的示例——包括 YOLO 系列检测器、分割和姿态模型——DX-Stream 可帮助你将它们组装成基于 GStreamer 的摄像头流水线。

紧凑型 VLM：将视觉与含义连接起来

紧凑型视觉语言模型在视觉结果之上增加上下文理解：描述场景、回答关于图像的特定问题，或用自然语言解释事件——全部在本地完成，没有任何数据离开设备。

SLM：与边缘系统对话

小型语言模型可以解读用户指令、总结本地事件或生成简洁的解释，为摄像头、机器人和机器打造自然的交互界面，而无需将每一次交互都经由云端处理。

内存方面呢？

开发者对于边缘端语言模型提出的第一个问题，就是可用内存有多少、能容纳多大的模型。DX-M1M 模块板载 2 GB 专用 LPDDR4x，可轻松支持 VLM 和 SLM 工作负载以及视觉模型。

准确性比峰值基准更重要

只有当模型在您的应用实际面对的图像和条件下保持准确时，边缘 AI 性能才有意义。DEEPX 将 INT8 优化视为一个注重准确性的工程流程，而非简单的转换步骤：

从已知的 FP32 准确性基线和一个明确定义的应用指标开始。
使用来自真实部署环境的代表性数据进行校准——而不仅仅是干净的样本图像。
使用 DX-COM 将模型编译并优化为可移植的 .dxnn 部署产物。
在最终的 Raspberry Pi 系统上比较准确性、延迟、功耗和热行为。

这在边缘摄像头实际遇到的困难条件下最为重要：低光照、眩光、运动模糊、遮挡和异常角度。可信的结果应同时展示效率提升和保留的应用准确性。

它到底有多快？

数字胜过形容词。以下数据是在 Raspberry Pi 5（8 GB）上运行正式发布的 Sixfab 软件版本时测得的，对比了 DX-M1M 和 DX-M1 NPU：

工作负载	DX-M1M（NPU）	DX-M1（NPU）
mobilenet_v2，240×240	2361 FPS	3223 FPS
deeplabv3plus，512×512	155 FPS	231 FPS
Qwen3-1.7B，96 个预填充 token	TTFT：599.04 ms TPS：4.64 tok/s	TTFT：544.58 ms TPS：11.60 tok/s

* DX-M1 使用 LPDDR5，而 DX-M1M 使用 LPDDR4X，由于内存带宽不同而导致性能差异。

从首次启动到首次推理

了解该平台最快的方式是验证硬件、运行打包好的模型并观察 NPU 工作。在 Raspberry Pi OS 上：

sudo apt update && sudo apt install apt-repo-sixfab
sudo apt update && sudo apt install sixfab-dx
dxrt-cli -s        # confirm device and software status
run_hello_world    # run a packaged example
dxtop              # observe the NPU in real time

接下来，选择一个优化过的 ModelZoo 工作负载，或通过 DX-COM 引入您自己受支持的 ONNX 模型。生成的 .dxnn 文件通过 DX-RT 的 C++ 或 Python API 运行，而您的 Raspberry Pi 应用则继续处理摄像头、业务逻辑、用户界面、网络和控制。

软件栈一览

组件	它为您做什么
DX-COM	将受支持的 ONNX 模型优化并编译为 DEEPX .dxnn 产物。
DX-RT	在目标设备上通过 C++ 或 Python API 运行 .dxnn 模型。
DX-Stream	构建基于 GStreamer 的采集、推理和后处理流水线。
ModelZoo	涵盖检测、分类、分割、姿态等领域的预优化示例。
dxrt-cli / dxtop	一目了然地查看设备状态、利用率、温度、时钟和内存。

你能用它构建什么？

从家里开始。工作台上的摄像头能识别出你的 3D 打印何时失败，并给你发一张快照和一行描述。前门摄像头能区分快递员、邻居家的猫和徘徊的人——并在每晚完全在本地总结当天的事件。花园或宠物监控只会在有值得一看的事情时提醒你。所有这些都遵循同一个循环：CNN 看到事件，紧凑型 VLM 添加上下文，SLM 解释它或解读你的下一条指令，而你的 Raspberry Pi 应用程序做出决定并采取行动。

同样的循环可扩展到严肃的部署场景：智能摄像头中降低云依赖的持续本地检测；生产线旁的低功耗视觉质量和安全监控；机器人上的感知和紧凑型多模态智能，同时 Raspberry Pi 运行 ROS 2 和控制逻辑；以及零售和智能空间中注重隐私的占用和行为分析。

它不适用于什么

像任何边缘加速器一样，AI HAT+ 并不试图与云端推理竞争。需要广泛世界知识、超长对话上下文或持续学习的应用，在计算和内存实际上不受限制的地方总是运行得更好。DX-M1M 最擅长在摄像头或传感器旁运行范围严格限定、始终在线的智能——在那里，隐私、延迟、离线运行和个位数瓦特的功耗预算才是真正决定设计的因素。诚实地对待这一边界，正是让该平台在其边界内值得信赖的原因。

社区与下一步

深入所需的一切都是公开的：DX-AllSuite 和 ModelZoo 在 GitHub 上，DEEPX 开发者门户提供文档、指南和支持渠道，你可以提问和提交问题。

在哪里购买

25 TOPS Sixfab AI HAT+ for Raspberry Pi 5 现已从 Sixfab 发售，13 TOPS 版本预计于 2026 年底推出。文档和快速入门指南链接如下。