arXiv cs.AI· Sunday Afariogun, Odunolaoluwa Jenrola, Zeinab Nezami·· 10 天前AI 评分27
Offline AI Modules：面向非洲语言社区的语音优先离线架构、硬件参考栈、量化与基准评测
Offline AI Modules: Voice-First Offline Architecture, Hardware Reference Stack, Quantization and Benchmarking
AI 导读
Offline AI Modules 工作流发布语音优先的完全离线 AI 部署方案，包含模块化架构、低成本硬件参考 BOM，以及针对 2-5B 参数指令微调模型的可复现量化与基准评测流程。
正文 · AI 翻译
摘要：离线 AI 模块工作流实现了实用、低功耗且社区可及的语音优先 AI 系统部署，这些系统完全离线运行。该工作流专为语音是主要交互方式且互联网连接不可靠或缺失的非洲语言社区而设计，提供三个相互增强的组件：模块化语音优先离线架构、低成本硬件参考物料清单，以及针对 2-5B 参数级指令微调语言模型的可复现量化与基准测试流水线。本文首次对该技术栈在两个硬件层级上进行了端到端基准评估：NVIDIA Jetson Orin NX（TierB）和 Raspberry Pi5（TierA）。评估了三个指令微调模型在四种量化格式下的表现，评估指标包括部署指标（解码吞吐量、聊天延迟、内存、功耗）和多语言质量（在 MasakhaNEWS 上对英语、豪萨语、伊博语、尼日利亚皮钦语和约鲁巴语的主题分类准确率；各语言困惑度漂移）。语音识别在两个层级上使用 Ethio-ASR 对阿姆哈拉语和奥罗莫语进行评估。主要发现是 Q4_K_M 量化代表了在两个层级上部署时尺寸与质量的最佳权衡：gemma-4-E2B-it 在 TierB 上以 Q4_K_M 实现 28.8t/s 的解码吞吐量和 89.2% 的主题分类准确率，而所有三个模型在 TierA 上均在 16GB 内存预算内运行。
| 学科： | 人工智能（cs.AI）；网络与互联网架构（cs.NI）；系统与控制（eess.SY） |
| 引用为： | arXiv:2610.07026 [cs.AI] |
| （或 arXiv:2610.07026v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07026 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zeinab Nezami [查看电子邮件]
[v1]
2026年10月4日星期日 17:16:45 UTC（643 KB）
来源：arXiv cs.AI · arxiv.org