arXiv cs.AI· Yichi Zhang, Zhiqi Wang, Neil Gong, Yuchen Yang·· 10 天前AI 评分31
面向大语言模型的安全投机解码 SecureSD
Secure Speculative Decoding for Large Language Models
AI 导读
研究首次系统考察投机解码的安全影响，发现各类有损投机解码方法存在明显的安全-效用不对称：越狱与提示注入攻击成功率的上升速度远快于效用下降。为此提出 SecureSD，理论分析指出安全退化主要源于 draft model 生成的早期 token，故对早期解码位置的 draft token 采用更严格的验证标准。
正文 · AI 翻译
摘要：推测解码通过先使用一个较小的模型（称为\emph{草稿模型}）生成候选 token，再由目标模型（称为\emph{目标模型}）验证其接受或拒绝，从而加速大语言模型（LLM）的推理。此前的研究主要关注推测解码的效率与效用权衡，例如有损推测解码，而其安全影响在很大程度上尚未被探索。
在这项工作中，我们通过提供\emph{首个}关于推测解码安全影响的系统性研究来弥合这一空白。通过大规模测量研究，我们揭示了一种明显的安全-效用不对称性：在多种有损推测解码方法中，推理效率的提升以不成比例的高安全代价为代价，越狱和提示注入攻击的成功率上升速度远快于效用的下降速度。
随后我们提出了 SecureSD，一种新的理论指导的推测解码方法，在保持效率和效用的同时增强安全性。具体而言，我们的理论分析表明，安全性下降主要源于草稿模型生成的早期 token。受此洞见启发，SecureSD 对早期解码位置上的草稿模型 token 应用更严格的验证标准。在安全性和效用基准上的大量实验表明，与现有推测解码方法相比，SecureSD 在保持效率和效用的同时显著提升了安全性。
| Comments: | 18 页，已被 IEEE S&P 2027 接收 |
| Subjects: | 密码学与安全（cs.CR）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.08678 [cs.CR] |
| （或使用 arXiv:2610.08678v1 [cs.CR] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.08678 arXiv 颁发的 DOI，通过 DataCite（待注册） |
Submission history
来自：Yichi Zhang [查看邮箱]
[v1]
2026 年 10 月 6 日星期二 16:59:37 UTC（151 KB）
来源：arXiv cs.AI · arxiv.org