arXiv cs.AI· Kausar Moshood, Jace Bolante, Roshan Aditya Murali, Manish Motwani·· 3 天前AI 评分31
LEST：基于规范驱动测试的大语言模型安全评估框架
Specification-Based Testing of Large Language Models
AI 导读
研究者提出 LEST 框架，将模型卡与系统卡中的安全声明视为规范，对 LLM 进行黑盒测试。在 Claude Opus 4.8 和 GPT-5.5 的系统卡上，56 条安全声明中仅 29 条（51.8%）可被提示词测试，其中只有 17 条（58.6%）有对应基准提示词覆盖。
正文 · AI 翻译
摘要：模型卡、系统卡和安全报告越来越多地记录 LLM 安全行为，然而安全评估通常从预定义的基准开始，而不是追问这些基准实际测试了哪些已记录的声明。我们提出 LEST（LLM Evaluation through Specification-driven Testing），一个将已记录的安全声明视为黑盒测试规范的框架。在 LEST 中，每条声明决定哪个基准提示词测试它，以及 Refuse-to-Comply 转换（模型拒绝某个提示词但遵从其后变异版本）是否算作对其不利的证据。LEST 对这些提示词进行变异以搜索反例，人工验证每个候选，并将验证过的反例追溯回它们所违背的声明。我们使用 Claude Opus 4.8 和 GPT-5.5 的系统卡评估 LEST，采用来自 SORRY-Bench 的 97 个种子提示词，涵盖心理健康与自残、有害与暴力内容以及公平性与偏见。在 56 条识别出的安全声明中，29 条（51.8%）可通过提示词测试，但只有 17 条（58.6%）被适用的基准提示词实际检验。两个模型对超过 95% 的基准提示词予以拒绝。在两个模型上评估 1,836 个变异提示词，发现 312 个由自动响应分类器标记的候选 Refuse-to-Comply 转换。然而，人工验证仅确认 19 个（6.1%）既保持意图又确实遵从，表明自动评估大幅高估了行为失败。将这 19 个转换追溯回声明，揭示了 9 条涵盖声明中 6 条的反例，这些声明以拒绝作为适用判据。我们的结果表明，基准提示词可能不足以验证所有已记录的 LLM 安全行为，自动失败检测需要人工验证。LEST 提供了从自然语言安全文档到可执行测试和人工验证反例的端到端可追溯性。
| 评论： | 21 页，1 张图 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14443 [cs.SE] |
| （或 arXiv:2610.14443v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14443 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Manish Motwani [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 01:17:21 UTC（67 KB）
来源：arXiv cs.AI · arxiv.org