arXiv cs.CL· Yuqi Wu, Deyang Li, Katharine Hibbard, Ron Oswald, David Sinclair, Adegboyega Sapara, Kalutota Kuruwe Arachchige Sajana Indula Samarasinghe, Abhinav Pillai, Reham Shalaby, Riffat Alam, Xin-Min Li, Yanbo Zhang, Jie Chen·· 11 小时前AI 评分31
Schema Coherence Inventory（SCI）：测量被赋予的信念是否组织语言模型的认知
The Schema Coherence Inventory: Measuring Whether an Assigned Belief Organizes a Language Model's Cognition
AI 导读
研究者提出 Schema Coherence Inventory（SCI），用 96 道迫选题在 Beck 认知模型八个层级上测量被赋予的信念是否真正组织模型行为，而非仅改变情绪。
正文 · AI 翻译
作者：Yuqi Wu、Deyang Li、Katharine Hibbard、Ron Oswald、David Sinclair、Adegboyega Sapara、Kalutota Kuruwe Arachchige Sajana Indula Samarasinghe、Abhinav Pillai、Reham Shalaby、Riffat Alam、Xin-Min Li、Yanbo Zhang、Jie Chen
摘要：人格条件语言模型被用作模拟患者和情感代理，但目前尚无经过验证的方法来判断赋予此类模型的信念是否组织其行为，还是模型仅仅采纳了某种情绪。我们提出图式一致性量表（Schema Coherence Inventory，SCI）：共 96 个迫选条目，覆盖 Beck 认知模型的八个层级，每个条目提供六个回复，分别对应三种消极自我图式及其积极对应物，采用长度归一化对数似然评分，因此不生成也不解析任何内容。仅情感本身就能使模型转向默认信念，因此判别标准是目标特异性：为某一信念构建的条件必须比为其同一极的其他信念构建的条件更频繁地选择该信念。在五种骨干模型（1.7B–14B 参数）上针对 107 个条件开展的六项验证研究支持这一解读。九名受过临床训练的评分者以 79.5% 的准确率还原出对应信念（随机水平为 16.7%）。信念适配器在每种骨干模型上均具有目标特异性（+17.7 个百分点；30/30 个信念单元为正），且一个条件的 SCI 画像在 24/30 个案例中能识别出其自身的自由生成内容，而随机预期仅为 5 个。48 条目简版与其余 48 个条目的相关系数为 r = 0.73。将其应用于六个已发表的模拟患者后，没有一个比一句核心信念陈述句更好地承载其表述中的核心信念。该验证路径将构念与伴随其的情感区分开来，并用临床医生校验模型评判者，为语言模型中的情感测量提供了模板；我们概述了其在任务类型、评分者、站点和语言上的扩展。我们公开条目、评分代码和简版。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31683 [cs.CL] |
| （或 arXiv:2610.31683v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31683 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuqi Wu Dr [查看邮箱]
[v1]
2026年10月3日星期六 09:53:07 UTC（1,136 KB）
来源：arXiv cs.CL · arxiv.org