arXiv cs.AI· Saisab Sadhu, Aadit Sengupta, Vinay kumar Sankarapu, Pratinav Seth·· 9 天前AI 评分29
LLM 合规系统对监管规则不敏感：五模型 20 领域审计研究
Verdict Without the Rule: Diagnosing and Auditing Regulatory Rule Sensitivity in LLM Compliance Systems
AI 导读
研究在五个模型、20 个监管与平台政策领域上测试：删除、替换或否定所给规则而保持案例不变，看结论是否改变（OCS）或模型内部合规表征是否偏移（ICS-delta），结果两者都几乎不动。其中 guard 模型规则敏感度与准确率最低，仅 51%，通用模型为 90-92%。在删除规则会改变原本正确预测的案例上，模型能紧密跟随规则；更好的提示词或直接干预内部表征都无法弥合这一差距。
正文 · AI 翻译
摘要：大语言模型合规系统的部署基于这样一个假设：裁决取决于所给定的监管规则。我们在五个模型和 20 个监管与平台政策领域上直接对此进行测试：在保持案例不变的情况下删除、替换或否定主导规则，并检查裁决是否发生变化（OCS），或模型对合规的内部表征是否发生任何偏移（ICS-delta）。两者都没有太大变化：模型的裁决往往对所提供规则的实质性扰动保持不变，而该防护模型——在此以其原生分类体系的自定义规则改编版进行评估——是五个模型中对规则最不敏感、也最不准确的一个，仅略高于随机水平（51%，而通用模型为 90-92%）。这更多反映的是简单案例，而非一概忽视：在删除规则会改变先前正确模型预测的案例上，模型确实会密切关注它。无论是更好的提示，还是对模型内部表征的直接干预，都无法弥合这一差距。仅凭准确率并不能证明合规裁决是以所提供规则为依据的。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.12313 [cs.AI] |
| （或 arXiv:2610.12313v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12313 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Saisab Sadhu [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 16:59:40 UTC（1,807 KB）
来源：arXiv cs.AI · arxiv.org