arXiv cs.CL· Hongyu Li, Xinlong Huang, Zhan Yu, Jing Zhao, Zhe Zhao, Juntao Zhong, Xiong Kuang, Rui Yuan, ZhenXiang Yan, Huilin Xu, Haitao Yu, Lilin Wang, Rui Chen, Blaze Chen, Fengzong Lian, Renfen Hu·· 12 小时前AI 评分38
DiagSafe：用提示词级评分标准诊断评估 LLM 安全性
Beyond Binary Labels: Diagnostic Evaluation of LLM Safety with Prompt-Level Rubrics
AI 导读
研究者提出 DiagSafe 诊断评估框架，用提示词级评分标准替代二元安全标签，从安全性与有用性两个维度评估 LLM。该框架基于 84 类安全分类构建中英双语基准，含 DiagBase 与 DiagAttack 两个子集。实验显示其与人工标注一致率达 95.34%，远高于基线的 69%-87%，评审间一致性 Cohen's κ 为 0.864。
正文 · AI 翻译
作者：Hongyu Li、Xinlong Huang、Zhan Yu、Jing Zhao、Zhe Zhao、Juntao Zhong、Xiong Kuang、Rui Yuan、ZhenXiang Yan、Huilin Xu、Haitao Yu、Lilin Wang、Rui Chen、Blaze Chen、Fengzong Lian、Renfen Hu
摘要：当前 LLM 安全基准主要依赖安全或不安全的二元标签，缺乏解释深度，且在不同自动评判器之间一致性较低。为解决这一问题，我们提出 DiagSafe，一个诊断式评估框架，它通过提示级评分细则超越了二元分类。该框架以全球适用的 AI 安全政策为基础，每条细则都沿两个维度给出明确标准：安全性，针对具体危害并设有具体豁免以减少误报；有用性，独立评估指令的完成情况。为确保评估稳健且贴近现实，我们构建了一个基于包含 84 个标签的全面安全分类体系的双语（英汉）基准，包含两个子集：DiagBase 涵盖单轮和多轮提示，包括直接有害查询和基于模板的越狱；DiagAttack 将有害意图嵌入复杂的指令遵循任务，形成具有挑战性的指令攻击。大量实验表明，DiagSafe 显著提升了 LLM-as-a-judge 评估的可靠性，与人工标注的一致率达到 95.34%——远高于基线所达到的 69%-87%——并且评判器间一致性很高（Cohen's $\kappa$ = 0.864）。此外，应用我们的框架可以发现，领先的 LLM 在不安全率上差异显著，且每个模型在不同维度上也表现出独特的脆弱性。另外，我们观察到模型在中文和多轮语境下尤其容易受到影响。最终，DiagSafe 为审计和优化 LLM 对齐提供了一个可靠且可解释的工具。
| 评论： | 42 页，9 幅图，24 张表。数据集将在 this https URL 公开发布 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.29225 [cs.CL] |
| （或 arXiv:2610.29225v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29225 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hongyu Li [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 05:33:50 UTC（709 KB）
来源：arXiv cs.CL · arxiv.org