arXiv cs.CL· Fardin Ahsan Sakib, Ziwei Zhu, Ozlem Uzuner·· 11 小时前AI 评分38
模型自己知道：防御医疗多智能体系统的提示词注入攻击
The Model Knows Better: Defending Medical Multi-Agent Systems Against Prompt Injection
AI 导读
针对医疗多智能体系统的提示词注入攻击在两种系统、两个模型家族和三个基准上单段注入成功率最高达 61%，且智能体协作并不能稳定防御。研究提出一种免训练防御：按临床实践将患者发现与诊断、建议、指令等临床判断分离，仅依据患者发现逐条核验判断，使决策只建立在有支持的判断上。
正文 · AI 翻译
摘要：医疗多智能体系统（即多个 LLM 智能体讨论同一病例）正日益被研究用于临床决策支持。提示注入，即攻击者向模型输入中添加的文本，可操纵 LLM 做出错误决策。它如何影响这些系统、以及如何保护这些系统，目前仍不清楚。在两个系统、两个模型系列和三个基准测试中，单段注入文本在多达 61% 的案例中成功，而协作并不能稳定地提供防护。现有防御只能部分奏效：它们会漏掉看起来像普通临床文本的注入。然而，当要求将注入文本与患者检查结果进行核对时，通常遵循了注入的模型往往会拒绝它。因此，我们提出一种无需训练的防御方法，用于验证系统决策背后的临床判断。遵循临床实践，它将患者检查结果与临床判断（如诊断、建议和医嘱）分离，并仅依据检查结果逐一核验每项判断，从而使决策仅建立在有依据的判断之上。我们的防御方法在每个基准测试上都优于所有基线，将 MedQA 上的攻击成功率降至 4-7%，同时保持无攻击案例上的准确率，并且在采用医疗模型时、以及面对防御感知攻击和自适应攻击时仍然有效。
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.22594 [cs.CL] |
| （或 arXiv:2610.22594v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22594 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fardin Ahsan Sakib [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 19:43:57 UTC（260 KB）
来源：arXiv cs.CL · arxiv.org