arXiv cs.AI· Kshitish Ghate, Michael Saxon, Tadayoshi Kohno, Aylin Caliskan·· 13 小时前AI 评分39
RoleFUZZER：面向大语言模型角色规范遵循的用户行为模糊测试框架
RoleFUZZER: User-Behaviour Fuzzing for Role-Specification Adherence in Large Language Models
AI 导读
RoleFUZZER 将软件测试中的覆盖率引导模糊测试引入 LLM 角色规范评估，通过用户行为覆盖网格构造多轮对话场景。在 15 轮测试中，该框架对 5 种角色规范的 64 格行为网格覆盖率均达 89% 以上；同等对话预算下改用 LLM 自由生成用户，覆盖率降至 39-69% 且违规类型更少。
正文 · AI 翻译
摘要：大型语言模型（LLM）常通过指定其行为方式的系统提示，被设定为特定角色，例如导师、面试官或代表组织行事的代理。在与真实且可能带来问题的用户进行多轮交互时，它们实际能在多大程度上遵守这些角色规范，目前研究不足。为此，我们提出用户行为模糊测试，即对可能导致模型违反其角色规范的合理用户行为进行引导式搜索，并引入 RoleFUZZER，一个将软件测试中的覆盖率引导模糊测试加以改造以实施该搜索的框架。RoleFUZZER 依据用户行为覆盖网格构建场景，该网格将用户交互类型的接地分类法与受测模型的角色规范（即受到压力的内容）交叉组合。借助 RoleFUZZER，我们在五种角色规范上评估 LLM，包括导师、财务顾问、AI 面试官、对抗性角色扮演角色以及受组织政策约束的 Web 代理。在 15 轮测试活动的模拟与验证对话中，该框架对每个受测模型和角色均达到 64 格行为网格 >= 89% 的覆盖率，并揭示出基于规范的失败模式。在对话预算相同的情况下，移除 RoleFUZZER 网格并让 LLM 自由生成针对规范的用户，覆盖率降至 39-69%，且违规类型更少。同一规范也可能朝相反方向失败。例如，在对抗性角色上，开放权重目标模型会覆盖玩家的安全信号，而 Claude Haiku 4.5 则会脱离角色。RoleFUZZER 通过测试可能违反角色规范的多样用户行为，提供了一种可操作的方式来揭示 LLM 跨角色规范的漏洞。
| 评论： | 预印本审稿中 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.38438 [cs.CL] |
| （或 arXiv:2610.38438v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38438 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kshitish Ghate [查看电子邮件]
[v1]
2026年10月28日星期三 08:19:36 UTC（1,881 KB）
来源：arXiv cs.AI · arxiv.org