arXiv cs.CL· Pavan Maddula·· 10 天前AI 评分24
开放权重大语言模型在非规范输入下的四态安全评估
Quad-State Safety Evaluation of Open-Weight Large Language Models on Non-Canonical Inputs
AI 导读
研究提出 ASRD 数据集，含七类表面形式共 2100 条提示词，对五个开放权重语言模型生成 10500 条回复，并用四态评估标准分类。
正文 · AI 翻译
摘要：大语言模型的标准安全评估针对的是以规范纯文本形式写成的有害请求，而实际部署中的模型经常收到包含表情符号、变体拼写、编码字符串和字符级变体的输入。本工作提出了对抗性表面形式鲁棒性数据集（ASRD），包含横跨七个不同表面形式家族的 2,100 条提示。五个开放权重语言模型在这些提示上接受评估，产生 10,500 条回复。四态评估量表将每条回复归类为四种结果之一：有害遵从、安全回复、理解失败或不确定。表情符号和不可见 Unicode 变体几乎不导致理解失败，合并有害遵从率为 20.27% 和 17.20%，而基线为 22.87%（主要由 Mistral 7B 驱动）；相比之下，leet 语、编码包装和混合变换的得分分别为 2.40%、0.13% 和 2.40%，同时理解失败率上升至 36.47%、65.60% 和 34.47%。对原始模型输出的检查揭示了三种回复行为：幻觉良性、结构崩溃和语言漂移。项目页面：this http URL
| Comments: | 已被 NeurIPS 2026 自演化多样性驱动搜索鲁棒 AI 系统研讨会（EvoRobust）接收。12 页，11 张表。项目页面：this https URL 数据集：this https URL |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；密码学与安全（cs.CR）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.09033 [cs.CL] |
| （或 arXiv:2610.09033v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09033 arXiv 颁发的 DOI 经由 DataCite（待注册） |
Submission history
来自：Pavan Maddula [查看邮箱]
[v1]
2026 年 10 月 6 日星期二 19:33:24 UTC（20 KB）
来源：arXiv cs.CL · arxiv.org