arXiv cs.AI· Ram Vikas Mishra, Shashank Aggarwal, Jahnavi Kumar, Amit Awekar·· 3 天前AI 评分38
研究：用部分生成将提示词危害性与交互安全性分离
Separating Prompt Harmfulness from Interaction Safety via Partial Generation
AI 导读
一项研究提出用部分生成判断 LLM 交互安全性：系统可先开始生成、观察部分输出，仅在内容变有害时停止。研究构建了 41,944 条 prompt-response 对，覆盖 Llama、Gemma、Qwen 三个家族的七个开源权重模型，发现提示词危害性与交互安全性并不一致，两者标签仅 50.46% 一致（Cohen's κ = 0.06）。
正文 · AI 翻译
摘要：基于 LLM 的信息系统需要安全护栏。大多数护栏仅对提示词进行分类。如果提示词看起来有害，系统会在生成任何回答之前将其拒绝。这样做代价高昂。许多被拒绝的提示词本可以得到安全的回答。用户失去了他们本应从信息系统中获得的帮助。随着对话式和生成式搜索变得普遍，这一代价也在增长。提示词级别的标签将危害视为查询的一种属性。但危害取决于模型实际写出的内容。现有的输入-输出护栏确实会查看回答。但它们评判的是已完成的回答，因此决策发生在完整生成之后。然而，我们观察到，模型与输入提示词交互的安全性可以仅凭部分输出就提前推断出来。因此，系统可以开始生成，观察部分回答，并且只有在它变得有害时才停止。我们分三步检验这一想法。首先，我们构建了一个包含 41,944 个提示词-回答对的数据集，使用了来自三个系列（Llama、Gemma 和 Qwen）的七个开放权重 LLM。其次，我们表明提示词的有害性与交互安全性并不相同。提示词标签和回答标签仅在 50.46\% 的条目上一致（Cohen's $\kappa$ = 0.06）。在使任一模型产生有害回答的提示词中，只有 3.5\% 会使全部七个 LLM 都如此。第三，我们表明部分回答携带了大部分信号。微调后的分类器能很好地预测回答级别的危害（最佳 AUPRC 0.885，F1 0.807）。大约三分之一的回答 token 就能恢复到接近完整回答的 AUPRC。
| 主题： | 人工智能（cs.AI）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.16761 [cs.AI] |
| （或 arXiv:2610.16761v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16761 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ram Vikas Mishra [查看电子邮件]
[v1]
2026年10月12日星期一 13:23:48 UTC（165 KB）
来源：arXiv cs.AI · arxiv.org