arXiv cs.CL· Shuai Guo, Yidong Cui·· 9 天前AI 评分27
BeliefScope：诊断大语言模型中的证据驱动修正与压力诱导偏移
BeliefScope: Diagnosing Evidence-Driven Revision and Pressure-Induced Shifts in Large Language Models
AI 导读
研究团队提出 BeliefScope，一个受控黑盒框架，用于区分大语言模型对同一命题的响应变化究竟来自相关证据还是来自不添加事实的用户定向压力。该框架在 36 个 Qwen/Llama 模型家族上开展研究，并对 12 个家族（含 Gemma3-12B）做定向检查，结果显示模型层面的广泛差异在匹配控制、解码或响应接口下可能改变，而部分模型内部的窄范围模式保持稳定。
正文 · AI 翻译
摘要：语言模型可能在收到真正相关的证据后，也可能在收到不添加任何相关事实的方向性用户压力后，修改同一命题。因此，仅凭可观察到的回应变化并不能揭示究竟是哪种来源驱动了该变化。我们提出 BeliefScope，一个受控的黑盒框架，用于围绕固定目标命题区分这两种影响来源。BeliefScope 将证据与压力与因子特定的局部控制相交，并通过概率报告、分类判断和行动建议在适合各渠道的量表上测量回应变化。为确定这些可观察对比何时支持可靠归因，我们在受控合成条件下评估该观测设计。已知真值恢复和针对性消融确立了与证据和压力相关的效应可在何处被分离，而半合成压力测试则刻画了随着观测过程变得更嘈杂、更异质，这种可恢复性如何变化。在一项涵盖 36 个家族的 Qwen/Llama 研究中，辅以同时包含 Gemma3-12B 的针对性 12 家族检查，所得画像显示出显著的评估情境依赖性：宽泛的模型层面差异在匹配控制、解码或回应接口下可能发生变化，而某些更窄的模型内模式则保持稳定。指令干预进一步表明，目标对齐压力跟随的减少既可能反映稳定的抵抗，也可能反映朝相反方向的移动。BeliefScope 将这些测量总结为条件信念-回应画像，使诊断效应与其被观测时所处的评估条件保持绑定，并为该诊断给出明确的有效性边界。
| 评论： | 18 页，13 幅图，18 张表。包含附录 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11305 [cs.CL] |
| （或 arXiv:2610.11305v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11305 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuai Guo [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 06:11:48 UTC（1,214 KB）
来源：arXiv cs.CL · arxiv.org