arXiv cs.CY· Haonan Huang·· 10 小时前AI 评分36
拆解 LLM 道德判断中的是/否偏差：立场、位置、词与裁决
Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict
AI 导读
研究提出交叉心理测量电池，将问题极性、印刷顺序与答案标签扩展为 2x2 和 2x2x2 交叉设计，以分离 LLM 是/否回答中的立场、位置、词与裁决效应。在 20 个道德困境、Claude/GPT/Gemini 十个前沿模型 23 种推理配置共 135 万次试验中，表面是/否偏差几乎纯属词与位置等表层因素，而部分最新模型翻转对比接近零却隐藏高达 +0.42 的裁决依附。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地给出二元判定——安全门、评判决策、价值探测——而答案被解读为模型的判断。一个确定的判断应当在同一问题的成对表述之间保持一致：对“你赞成吗？”回答是，应当对应“你反对吗？”回答否。LLM 常常违反这种一致性，而在是/否问题中，判定、答案词和打印位置三者重合，因此常规的翻转问题审计只能得到一个对比，无法说明究竟是什么发生了移动。我们引入一套交叉心理测量电池，将翻转扩展为问题极性、打印顺序和答案标签的完整 2x2 与 2x2x2 交叉，从而将立场与位置、词、标签和判定角色效应分离开来；一个独立的评分工具在不使用二元格式的情况下估计每个模型的立场 $\theta$；一个双参数拟合（框架易感性 $m$、决断性 $s$）将稳健性与掩盖易感性的饱和区分开来。将该电池应用于二十个道德困境——在 23 种推理配置下对来自 Claude、GPT 和 Gemini 系列的十个前沿模型进行 135 万次试验——我们发现响应形式偏差普遍存在，但从不均匀。最大的表观是-否偏差几乎纯粹是表面性的（词和位置），而若干最新模型则表现出相反情况：接近零的翻转对比掩盖了高达 +0.42 的判定依附，这是任何表面平衡都无法揭示的成分，并在不同标签字母表上得到复现。所要求的推理重塑了这些通道，而非消除它们。当受试者以自由文本陈述决策并由另一个模型转录时，两个评判家族在 99.3% 的共同评分转录上达成一致，且没有任何相互对立的明确标签，转录的立场与评分标尺收敛（中位数 $r=0.87$）：响应形式是工具的一部分，而判断可以与之分开测量。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2607.05552 [cs.CL] |
| （或 arXiv:2607.05552v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.05552 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haonan Huang [查看电子邮件]
[v1]
2026年7月6日星期一 18:37:43 UTC（2,243 KB）
[v2]
2026年11月6日星期五 03:52:26 UTC（1,872 KB）
来源：arXiv cs.CY · arxiv.org