arXiv cs.CL· Jeremias Ferrao, Niclas M\"uller-Hof, Iustin S\^irbu, Traian Rebedea, Yftah Ziser·· 11 小时前AI 评分31
让安全分类器显式建模用户意图：AIMS 数据集与意图感知训练提升 LLM 安全分类
Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes
AI 导读
研究者提出 AIMS——一个含 1,724 条困难安全提示、每条配意图描述与危害标签的人工标注数据集，主张安全分类器应把用户意图作为提示词与最终标签之间的显式信号。
正文 · AI 翻译
摘要：我们认为，安全分类器应将用户意图建模为提示与最终标签之间的显式信号。为研究这一点，我们引入了 AIMS，这是一个包含 1,724 条困难安全提示的人工标注数据集，每条提示都配有意图描述和危害标签。我们使用 AIMS 在监督微调、偏好学习、推理蒸馏和强化学习等训练范式中评估意图感知训练。尽管规模有限，AIMS 仍能在各种训练范式中实现有竞争力的安全分类器：基于模型生成意图错误的 DPO 优于 SFT，而在大多数教师-学生组合中，意图条件蒸馏优于仅推理蒸馏。最值得注意的是，使用 GRPO 直接奖励意图忠实度在五个外部安全基准上取得了最强的平均性能，同时我们的意图感知模型构成了推理延迟-F1 的帕累托前沿。这些结果表明，忠实的意图建模是一种紧凑、高质量的监督信号，可用于构建更稳健的安全分类器。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.27210 [cs.CL] |
| （或 arXiv:2606.27210v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.27210 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yftah Ziser [查看邮箱]
[v1]
2026年6月25日星期四 16:03:57 UTC（154 KB）
[v2]
2026年10月16日星期五 16:09:43 UTC（155 KB）
来源：arXiv cs.CL · arxiv.org