arXiv cs.AI· Duo Chai, Zizhen Liu, Shuhuai Wang, Songwei Pei, Cheng Liu, Huawei Li, Shangguang Wang·· 11 小时前AI 评分31
LLM 推理对 GPU 软错误的脆弱性分析：指令级故障注入研究
Analysis of LLM Vulnerability to GPU Soft Errors: An Instruction-Level Fault Injection Study
AI 导读
一项指令级故障注入研究首次系统分析了 LLM 推理对 GPU 软错误的脆弱性，揭示模型架构、参数规模与任务复杂度对可靠性的影响。研究指出，随着晶体管尺寸缩小和工作电压降低，GPU 在卫星计算等辐射环境下更易发生软错误，而 LLM 的容错特性可能与传统视觉神经网络显著不同。
正文 · AI 翻译
摘要：大型语言模型（LLM）具有极高的计算和内存需求，对高性能 GPU 提出了严苛要求。与此同时，由晶体管尺寸缩小和更低工作电压驱动的 GPU 技术进步，使这些设备越来越容易受到软错误的影响，尤其是在卫星计算等易受辐射影响的环境中。尽管已有工作研究了 GPU 软错误，但大多数研究集中于通用应用或主要用于分类和检测等视觉任务的传统神经网络。然而，尽管现代 LLM 正被迅速应用于各种场景，其脆弱性分析仍然有限。鉴于 LLM 的独特特性，其对软错误的韧性可能与早期模型存在显著差异。为填补这一空白，我们开展了首个针对 LLM 推理的指令级故障注入研究，以分析影响 LLM 脆弱性的因素。我们的方法从多个角度揭示了可靠性特征，突出了模型架构、参数规模和任务复杂度的影响。这些发现为 LLM 可靠性提供了新见解，并为设计更有效的容错机制提供了依据。
| 注释： | 14 页，13 幅图 |
| 主题： | 硬件架构（cs.AR）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2601.19912 [cs.AR] |
| （或 arXiv:2601.19912v2 [cs.AR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.19912 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Duo Chai [查看邮箱]
[v1]
2025 年 12 月 25 日星期四 11:59:54 UTC（3,157 KB）
[v2]
2026 年 11 月 5 日星期四 12:26:45 UTC（3,976 KB）
来源：arXiv cs.AI · arxiv.org