arXiv cs.CL· Anthony Rhodes, Gadi Singer·· 10 小时前AI 评分38
BMMS：面向策略条件的语言模型行为合规度量套件
BMMS: Policy-Conditioned Measurement of Behavioral Compliance in Language Models
AI 导读
研究者提出 Behavioral Misalignment Metric Suite（BMMS），以策略语料为输入、输出合规画像，核心指标 CAS 衡量严重度加权合规达成率，CRM 衡量对抗压力下合规存留比例。
正文 · AI 翻译
摘要：语言模型的行为评估会预先固定其维度：幻觉、谄媚、毒性、过度拒答。受监管行业中的操作者需要回答的是另一个问题：系统是否做到了某一特定规则手册所要求的事情？我们引入了行为失准度量套件（BMMS），它通过将策略语料库作为参数并返回其上的合规画像来度量策略条件下的失准，适用于任何已发布的策略以及任何以自然语言作答的系统。合规达成分数（CAS）度量对约束系统的义务的严重性加权达成度，合规稳健裕度（CRM）度量在分级对抗压力下仍得以保留的达成度份额；行为不变性（BIV）与行为倾向指数（BDI）已随该套件一并规范并发布。各维度只有通过一项已发布的准入测试才能进入，该测试的约束性标准是归因：在目标固定不变时，随评判者变化而变化的量，度量的是仪器本身。应用该标准后，套件自身所报告的量中有一个被排除。在来自五类登记册中十一份文档的 1,003 项义务上，该准入标准在供应商规格说明上与盲法人判断相比保持 94.4% 的精确率，在分析性指南上为 50.0%，抽取保真度为 94.6%，并且在来自另外两家提供商的评判者下重新评分时，目标排序保持不变，而单个目标的绝对分数跨度最高达 0.22。我们将其应用于两份最详细的已发布行为规范。一旦减去文档难度，自身规范优势并不能从零中分辨出来，但绝对自我合规则是另一回事：GPT-4o 在 OpenAI 发布的 Model Spec 中未能满足约束它的硬性约束的 70.7%，而两个 Claude 模型分别未能满足其硬性约束的 0.0% 和 9.1%。
| 评论： | 21 页，4 幅图。NeurIPS 2026 Trust-AI-Eval（TAE）研讨会。制品：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09147 [cs.AI] |
| （或 arXiv:2611.09147v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09147 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anthony Rhodes [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 08:24:58 UTC（171 KB）
来源：arXiv cs.CL · arxiv.org