跳到正文
arXiv cs.CL· Frederik Hauke, Jan Clusmann, Hanna Kreutzer, Christiane Kuhl, Tianyu Han, Felix Barajas Ordonez, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn·· 10 小时前AI 评分58

研究:用语言化思维通道监测医疗 LLM 的隐蔽操纵

What the model knows but does not say: monitoring medical LLMs through verbalized thoughts

AI 导读

研究提出用自然语言自编码器把多模态 LLM(Gemma-3-27B)的激活转成文本,让一个看不到输入的评判模型分别读取这一“思维通道”和模型回答。在两种临床攻击目标、两种输入模态和两种投递方式共八种注入条件下,思维通道发现注入的频率均显著高于回答通道(p<0.05),两者在干净输入上的误报率都接近零;遗漏病理这一结果在 Llama-3.3-70B 上同样成立。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:为保障临床语言模型安全所做的努力一直集中在模型的输入和输出上,但一个被操纵的模型可以返回看起来完全普通的答案。在此我们表明,模型自身的内部状态以平实语言呈现时,能够揭示输出所掩盖的操纵。我们使用一个自然语言自编码器,将多模态 LLM(Gemma-3-27B)的激活翻译成文本,并让一个对输入不可见的评判器分别阅读这一言语化的内部状态(思维通道)和模型的答案。在两个临床攻击目标(遗漏一种病理、暗中推荐一种药物)、两种输入模态和两种投递机制下,思维通道在全部八种注入条件下都比答案更频繁地捕获到注入(p<0.05),而两个通道在干净输入上的假阳性率均接近零;遗漏这一结果在 Llama-3.3-70B 上同样成立。思维通道还在模型仍在阅读不安全的临床请求时、在其决定是否拒绝之前,就将其标记为有害。这一切都不需要重新训练:一个现成的言语化器和一个通用评判器就足够了。
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.24994 [cs.CL]
  (或 arXiv:2611.24994v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24994

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Frederik Hauke [查看电子邮件]
[v1] 2026年11月18日星期三 14:15:51 UTC(2,467 KB)

来源:arXiv cs.CL · arxiv.org