跳到正文
arXiv cs.AI· Jaturong Kongmanee, Smile Thanapattheerakul·· 10 天前AI 评分27

Latent Diagnostic Taxonomy:面向提示注入检测的分类器构建与决策诊断框架

The Latent Diagnostic Taxonomy: A Framework for Constructing Classifiers and Diagnosing Their Decisions, Applied to Prompt Injection Detection

AI 导读

论文提出 Latent Diagnostic Taxonomy 框架,通过交叉验证选择嵌入维度构建分类器,并定位约占训练样本 29% 的潜在支持向量,用于识别能改变分类结果的 token。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:本文提出了一个框架,用于构建作为防护层的分类器,并开发一种互补的诊断方法,以识别分类器的哪些高置信度决策可以被信任。该框架称为潜在诊断分类法(Latent Diagnostic Taxonomy),包括:(i) 构建一个维度优化的分类器,其中嵌入维度通过交叉验证性能经验性地选择,而非先验固定;(ii) 定位一组相对较小的潜在支持向量(约占总训练样本的 29%),这些向量代表有影响力的提示,用于识别能够改变分类器预测标签的 token;(iii) 利用这些 token 及其相关的攻击幅度构建诊断分类法。该诊断分类法提供了一套端到端的指南,用于标记需要不同处理的提示:安全地依赖分类器的决策;标记启发式偏差和启发式覆盖的情况;将上下文不足的情况转交进一步的人工/安全审查。将该框架应用于一个在公开提示注入数据集上训练的分类器,我们发现其高置信度决策中有相当大一部分(约 77%)在移除单个 token 后不再稳健,并且这种脆弱性分为两种不同的失败模式:置信度校准失败和真正可利用的捷径。对于分类法中的每个区域,我们还推荐了修复已诊断提示的策略。我们以一系列步骤的形式说明该框架,展示每一步如何运作。
评论: 10 页,5 张图
主题: 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL);密码学与安全(cs.CR)
引用为: arXiv:2608.26423 [cs.LG]
  (或 arXiv:2608.26423v2 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2608.26423

arXiv 颁发的 DOI,通过 DataCite

提交历史

来自:Jaturong Kongmanee [查看电子邮件]
[v1] 2026年8月26日星期三 21:55:15 UTC(233 KB)
[v2] 2026年10月6日星期二 15:27:36 UTC(235 KB)

来源:arXiv cs.AI · arxiv.org