跳到正文
arXiv·· 11 天前AI 评分22

大语言模型安全投机解码研究

Secure Speculative Decoding for Large Language Models

AI 导读

研究首次系统考察投机解码的安全影响:该方法先用小模型(draft model)生成候选 token,再由大模型(target model)验证接受或拒绝,此前研究多关注效率与效果权衡,如 lossy speculative decoding,安全层面基本未被探索。

来源:arXiv · arxiv.org