arXiv cs.AI· Jaturong Kongmanee, Smile Thanapattheerakul·· 10 天前AI 评分27
Latent Diagnostic Taxonomy:面向提示注入检测的分类器构建与决策诊断框架
The Latent Diagnostic Taxonomy: A Framework for Constructing Classifiers and Diagnosing Their Decisions, Applied to Prompt Injection Detection
AI 导读
论文提出 Latent Diagnostic Taxonomy 框架,通过交叉验证选择嵌入维度构建分类器,并定位约占训练样本 29% 的潜在支持向量,用于识别能改变分类结果的 token。
正文 · AI 翻译
摘要:本文提出了一个框架,用于构建作为防护层的分类器,并开发一种互补的诊断方法,以识别分类器的哪些高置信度决策可以被信任。该框架称为潜在诊断分类法(Latent Diagnostic Taxonomy),包括:(i) 构建一个维度优化的分类器,其中嵌入维度通过交叉验证性能经验性地选择,而非先验固定;(ii) 定位一组相对较小的潜在支持向量(约占总训练样本的 29%),这些向量代表有影响力的提示,用于识别能够改变分类器预测标签的 token;(iii) 利用这些 token 及其相关的攻击幅度构建诊断分类法。该诊断分类法提供了一套端到端的指南,用于标记需要不同处理的提示:安全地依赖分类器的决策;标记启发式偏差和启发式覆盖的情况;将上下文不足的情况转交进一步的人工/安全审查。将该框架应用于一个在公开提示注入数据集上训练的分类器,我们发现其高置信度决策中有相当大一部分(约 77%)在移除单个 token 后不再稳健,并且这种脆弱性分为两种不同的失败模式:置信度校准失败和真正可利用的捷径。对于分类法中的每个区域,我们还推荐了修复已诊断提示的策略。我们以一系列步骤的形式说明该框架,展示每一步如何运作。
| 评论: | 10 页,5 张图 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL);密码学与安全(cs.CR) |
| 引用为: | arXiv:2608.26423 [cs.LG] |
| (或 arXiv:2608.26423v2 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2608.26423 arXiv 颁发的 DOI,通过 DataCite |
提交历史
来自:Jaturong Kongmanee [查看电子邮件]
[v1]
2026年8月26日星期三 21:55:15 UTC(233 KB)
[v2]
2026年10月6日星期二 15:27:36 UTC(235 KB)
来源:arXiv cs.AI · arxiv.org