arXiv cs.AI· Linru Zhang, Xiangning Wang, Jun Jie Sim, Zhicong Huang, Jiahao Zhong, Huaxiong Wang, Pu Duan, Kwok-Yan Lam·· 10 小时前AI 评分31
MOAI：面向非交互式安全 Transformer 推理的模块优化架构
MOAI: Module-Optimizing Architecture for non-interactive secure transformer Inference
AI 导读
MOAI 是一个基于同态加密（HE）的非交互式安全 Transformer 推理框架，通过列/对角打包统一评估流程、Softmax 与 LayerNorm 的无旋转算法，在 BERT-base 全部矩阵乘法中比 SOTA 方案减少至少 1.7 倍 HE 旋转。
正文 · AI 翻译
摘要：当模型部署在云服务提供商（CSP）中时，大语言模型（LLM）推理引发了隐私担忧。同态加密（HE）通过支持直接在加密输入上进行安全推理，提供了一种有前景的解决方案。然而，HE 的高计算开销仍是主要瓶颈。为应对这一挑战，我们提出 MOAI，一种高效、基于 HE 的非交互式安全 Transformer 推理框架。MOAI 从以下方面获得显著的效率提升：（1）一种新颖的求值流程，将列打包与对角打包相结合，并在所有层采用一致的策略，消除了昂贵的格式转换。（2）针对 Softmax 和 LayerNorm 的无旋转算法，显著减少了代价高昂的 HE 旋转次数，在 BERT-base 推理中减少了 2,448 次 HE 旋转。（3）列打包消除了明文-密文矩阵乘法中的旋转，交错批处理进一步减少了密文-密文矩阵乘法中的旋转。在 BERT-base 的所有矩阵乘法中，MOAI 相比最先进的工作至少减少 1.7 倍的 HE 旋转。因此，与最先进的基于 HE 的非交互式安全 Transformer 推理 THOR（Moon et al., CCS 25）相比，我们将求值时间减少了 $52.8 \%$。随后我们将 MOAI 应用于 Powerformer 框架，与 Powerformer（Park et al., ACL 25）相比求值时间减少了 $55.7 \%$，后者使用更简单的函数近似 Transformer 中的 Softmax 和 LayerNorm，并提出了基于 HE 的非交互式 Transformer 推理。我们报告在单 GPU 环境下每个输入的摊销时间为 2.36 分钟。我们通过在 LLaMA-3-8B 中应用 MOAI 展示了其可扩展性。我们的实现已作为开源公开。
| 评论： | 发表于其他会议。小幅修订。ICLR 2026 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13641 [cs.CR] |
| （或 arXiv:2611.13641v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13641 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiangning Wang [查看邮箱]
[v1]
2026年11月10日星期二 06:36:43 UTC（2,691 KB）
来源：arXiv cs.AI · arxiv.org