arXiv cs.AI· Mark Russinovich·· 3 天前AI 评分49
LLM 中的隐蔽且可证明的文本不可见性：模型看不见什么
What the Model Cannot See: Covert and Provable Text Invisibility in LLMs
AI 导读
研究者提出一种服务时"跨度否决"机制，使被标记文本对语言模型行为不可见——不被摘要引用、问答忽略、下游过滤不标记，并在 10 个模型、7 种 mixer 家族、0.5B-120B 参数上验证了同长度替换下外部激活逐位一致的非干扰特性。
正文 · AI 翻译
摘要：被触发器包裹的文本可以在行为上对语言模型不可见：从摘要和引用中省略，在问答中被忽略，并且不会被下游过滤标记。我们将这种选择性失明作为一种双用途的信息流原语、一种供应链后门以及一个白盒审计问题来研究。我们首先将其精确实现为一种服务时跨度否决：阻止信息流出被标记的跨度，使得在等长替换该跨度内容的情况下，外部所有激活位完全相同，这是我们在十个模型、七个混合器系列以及 0.5B-120B 参数上验证的一种非干扰性质。该否决可作为一种可部署的隔离手段、一个用于校准泄漏的精确参考，以及一位教师。将其蒸馏进权重后，它会产生一个后门：在从 4B 到 120B 的六个模型系列上训练的检查点会忽略被标记的上下文，而基准成本很小，并且在我们留出的测试套件上，其输出没有显示出高于否决参考的被抑制内容的可测量语义痕迹；一个域内变体在 AI 代码审查期间抑制植入的漏洞。因此，检测是一个白盒问题。更简单的后门在内部仍然透明——线性探针以 0.57-0.79 的准确率恢复被抑制的内容，而随机概率为 0.025——但将攻击强化到探针达到随机水平时，会使来自跨度外部的注意力坍缩到跨度内部，低于基础模型的范围。在我们评估的攻击中，探针可见性与路由可见性之间存在权衡；我们并未确立这种权衡是根本性的。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15883 [cs.CR] |
| （或 arXiv:2610.15883v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15883 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mark Russinovich [查看电子邮件]
[v1]
2026年10月11日星期日 20:00:37 UTC（55 KB）
来源：arXiv cs.AI · arxiv.org