arXiv cs.CL· Ali Sarabadani, Massimo Piccardi, Mehran Abolhasan, Farzad Tofigh, Ian Zhou, Justin Lipman·· 11 小时前AI 评分24
FederatedBytes：面向高效多模态联邦学习的无分词器字节级小语言模型
FederatedBytes: Tokenizer-Free, Byte-Level Small Language Models for Efficient Multimodal Federated Learning
AI 导读
FederatedBytes 是一个无分词器的字节级小语言模型，通过将文本、图像等输入统一视为字节序列并结合线性注意力机制，降低联邦学习的内存与计算开销。在多语言和多模态情感分析任务上，该模型基于 Multilingual Amazon Reviews 和 ScienceQA 数据集评测，准确率超过 ByT5 和 LSTM 等对比模型，同时显著减少内存占用和通信开销。
正文 · AI 翻译
摘要：联邦学习（FL）是一种强大的机器学习框架，它允许从多个分布式客户端的贡献中构建全局模型，同时确保其本地数据的隐私。然而，其沉重的计算和通信开销对当代 AI 工作负载（如自然语言处理（NLP）和多模态分析）的使用构成了挑战。为此，本文提出了一种新颖的小型语言模型，它利用字节级文本和多模态数据处理，并通过线性注意力机制增强，以实现 NLP 和多模态分析任务的可管理联邦学习。所提出的模型，昵称为 FederatedBytes，通过将其输入视为单纯的字节序列，能够处理文本和任何其他数据类型（包括图像），而其精简的线性注意力机制则有助于减少整体内存和计算占用。为了证明所提出模型的有效性，我们在多语言亚马逊评论和 ScienceQA 数据集上，对多语言和多模态设置下的情感分析任务进行了广泛的性能评估。实验结果表明，FederatedBytes 能够超越 ByT5 和 LSTM 等可比模型，在实现更高准确率的同时显著减少内存和通信开销。
| 主题： | 计算与语言（cs.CL）；分布式、并行与集群计算（cs.DC）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22906 [cs.CL] |
| （或 arXiv:2610.22906v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22906 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Massimo Piccardi [查看电子邮件]
[v1]
2026年10月16日星期五 04:14:35 UTC（18,860 KB）
来源：arXiv cs.CL · arxiv.org