arXiv cs.AI· Shashie Dilhara Batan Arachchige, Robin Carpentier, Hassan Jameel Asghar, Dali Kaafar·· 10 天前AI 评分24
SpliTEE：用 GPU 辅助 TEE 结合差分隐私实现快速私密 LLM 推理
SpliTEE: Fast and Private LLM Inference by Coupling GPU-Assisted Trusted Execution Environments with Differential Privacy
AI 导读
SpliTEE 将 LLM 推理拆分到 Intel TDX TEE 与不受信任的 GPU 之间，并用差分隐私保护外包计算的中间表示，而非加密。作者对 LLM 推理关键函数做全局敏感度分析以界定 DP 噪声规模，并推导出掩码与噪声消除的浮点误差上界。在 Llama-3.2-3B 和 Qwen3-4B 上，其拆分执行比纯 TDX 推理快近 2 倍，比 Slalom 最多快 43% 且精度更高。
正文 · AI 翻译
摘要：提供给大型语言模型（LLM）的用户提示可能包含隐私信息。保护这些信息的一种方法是在可信执行环境（TEE）内执行 LLM。然而，这会导致推理时间变慢，因为当前 TEE 在 LLM 推理方面明显慢于 GPU。为规避这一问题，Tramèr 和 Boneh（2019）提出了 Slalom，将神经网络推理拆分到 TEE 和不可信 GPU 之间执行。他们对外包给 GPU 的计算的输入进行加密。在本文中，我们将这种拆分推理架构扩展到 LLM 推理，并改用差分隐私（DP）来保护中间输入。我们首先证明，对这些中间表示进行掩码是必要的：从这些表示出发，提示重建攻击可达到 80% 的准确率。我们的主要贡献是对 LLM 推理中关键函数的全局灵敏度分析，这给出了所需 DP 噪声规模的上界。与加密不同，DP 避免了量化，使 LLM 能够保持在浮点域中。我们还推导了由掩码及后续噪声消除所导致的浮点误差上界，该上界是隐私参数 epsilon 的函数，同时保持 LLM 响应的质量不变。我们使用 Intel TDX TEE 和两个 LLM：Llama-3.2-3B 和 Qwen3-4B 实现了我们的架构。我们的拆分执行速度几乎是完全基于 TDX 的推理的两倍。此外，它比 Slalom 最多快 43%，同时达到更高的准确率。最后，我们证明，即使了解 DP 机制，提示重建也无法恢复出比无关提示所包含信息更多的信息。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.15039 [cs.CR] |
| （或 arXiv:2609.15039v3 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.15039 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Robin Carpentier [查看电子邮件]
[v1]
2026年9月14日星期一 04:55:17 UTC（325 KB）
[v2]
2026年9月27日星期日 03:23:20 UTC（325 KB）
[v3]
2026年10月6日星期二 10:45:55 UTC（344 KB）
来源：arXiv cs.AI · arxiv.org