可信 RAG：用于检测生成式 AI 系统中虚假信息与知识投毒的评估智能体

查看 PDF HTML（实验性）

摘要：检索增强生成（RAG）将大语言模型（LLM）的输出建立在外部知识之上，但 RAG 系统通常信任其检索到的任何内容，从而造成安全-可靠性差距：高语义相关性并不能保证事实真实性。攻击者通过知识投毒利用这一点，插入恶意文档以造成有针对性的错误信息。我们提出一种评估代理（Evaluation Agent），这是一种中间件，结合了自然语言推理（NLI）事实核查、带相关性加权聚合的五信号投毒检测器，以及信任指数 T = 0.4 F + 0.35 C + 0.25 (1 - P )，并针对高污染情境采用非线性抑制因子。在 TruthfulQA 上使用 Llama 3.3 70B 时，该代理达到 91% 的准确率和 100% 的精确率，对指令注入的召回率为 100%，而实体替换等原地编辑仍然难以检测。在三个 LLM 上，信任指数保持区分能力，受试者工作特征曲线下面积（ROC-AUC）为 0.73 至 0.81；生成风格比模型规模更重要，按 LLM 进行阈值校准可恢复基线竞争性准确率，而较弱的 FEVER 结果表明跨数据集泛化需要领域特定校准。在一个软件工程用例中，一个基于开放全球应用安全项目（OWASP）Top 10 和通用缺陷枚举（CWE）指南的安全编码助手，该代理可靠地阻止了不安全建议的指令注入（F1 92%），而矛盾和细微的语义弱化仍然难以处理。在整个过程中，该代理衡量的是生成前对受污染上下文的检测，而不是 LLM 是否采纳了注入的错误信息。我们在以下链接发布所提出的方法、攻击生成器和实验工件：this https URL。

评论：	7 页，1 幅图，6 张表。发表于第二十一届国际软件工程进展会议（ICSEA 2026）主研究轨道
主题：	软件工程（cs.SE）；人工智能（cs.AI）；计算与语言（cs.CL）；密码学与安全（cs.CR）；信息检索（cs.IR）
引用为：	arXiv:2608.21095 [cs.SE]
	（或此版本的 arXiv:2608.21095v2 [cs.SE]）
	https://doi.org/10.48550/arXiv.2608.21095 由 DataCite 颁发的 arXiv DOI
期刊参考：	发表于 ICSEA 2026：第二十一届国际软件工程进展会议，第 109-115 页，IARIA（2026）

提交历史

来自：Md Toufique Hasan [查看电子邮件]
[v1] 2026 年 8 月 21 日星期五 13:42:41 UTC（22 KB）
[v2] 2026 年 11 月 3 日星期二 20:30:35 UTC（22 KB）