arXiv cs.AI· Abhishek Rai·· 11 小时前AI 评分36
nokast-secureRAG：用约 0.5B 小模型在 RAG 管线中检测上下文感知的提示词注入
Context-Aware Prompt Injection Detection via Small Language Models in RAG Pipelines: nokast-secureRAG
AI 导读
nokast-secureRAG 是一个约 0.5B 参数的小语言模型，作为检索与生成之间的语义防火墙，联合评估用户查询与检索上下文并分类为安全、可疑或恶意。其教师-评判-学生流程由 35B 教师模型生成 5,233 条样本、120B 独立评判模型重标注（一致率 95.0%），在分布内测试集上实现 0.994 检出召回率、0.026 误报率和 0.006 攻击成功率代理指标。
正文 · AI 翻译
摘要：本地检索增强生成（RAG）系统容易受到间接提示注入和检索投毒的攻击，即检索内容中的恶意指令被误认为可信输入。我们提出 nokast-secureRAG，一个约 0.5B 参数的小型语言模型，充当检索与生成之间的语义防火墙。它联合评估用户查询和检索上下文，将该对分类为安全、可疑或恶意。该模型使用教师-评判-学生流水线训练：一个 35B 教师模型生成涵盖四个攻击家族的 5,233 个示例，一个独立的 120B 评判模型重新标注它们，在学生微调前达到 95.0% 的一致性。在留出的分布内测试集上，该模型在 0.026 的假阳性率下达到 0.994 的检测召回率和 0.006 的攻击成功率代理指标，优于正则基线、一个公开的提示注入分类器、Llama Guard 3 1B 及其未调优版本。Prompt-Guard-86M 达到 0.900 的召回率，但假阳性率为 0.690。在判断翻转测试中，同一句话根据上下文是良性或恶意，该模型在 75% 的情况下正确分类两种情况，优于所比较的基线。消融实验表明，检索上下文携带主要攻击信号，而查询-上下文一致性减少假阳性。单请求延迟为 293-404 毫秒，高于 100 毫秒的目标，而在批处理下摊销吞吐延迟为 37 毫秒。在外部 PoisonedRAG 基准上，召回率降至接近零，表明流畅的事实投毒攻击位于检测器的指令一致性威胁模型之外。我们与分布内结果一起报告这一局限性。模型、数据生成流水线和评估工具已开源发布。
| 学科： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28364 [cs.CR] |
| （或 arXiv:2610.28364v1 [cs.CR] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.28364 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Abhishek Rai [查看电子邮件]
[v1]
2026年10月20日星期二 15:26:15 UTC（28 KB）
来源：arXiv cs.AI · arxiv.org