跳到正文
arXiv cs.AI· Davide Liga, Liuwen Yu, Matteo Magnini·· 4 小时前AI 评分32

语言模型中的道德回路与道德特征辨析:道德内容、规范判断还是提示词?基于 14 个模型的证据

Disambiguating Moral Circuits and Moral Features in Language Models: Moral content, normative judgment or cue words? Evidence from 14 models

AI 导读

研究用 227 组经五名标注者验证的最小短语对测试 14 个开源模型(Llama、Gemma、Qwen,1B 至 14B,含基座与指令微调版),发现改变道德答案的注意力头属于模型处理所有规范判断共用的评估回路,道德对与其他规范对的效应份额合并比值为 1.00(含 "morally" 一词,97.5% 置信区间 [0.92, 1.07]),无该词时为 0.90。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:可解释性方法能够定位那些会改变语言模型对道德提示所给答案的注意力头和稀疏自编码器(SAE)特征,例如“为垂死的孩子偷药在道德上是”后面接“正当的”还是“错误的”。这样的组件可能响应道德内容、响应任何规范对行为的判断,也可能响应提示中的“在道德上”一词。我们构建了 227 个经五名标注者验证的短语最小对,每对的两个版本在某一道德标准、另一类规范(审慎、礼仪、审美或证据)或某一描述性品质上有所不同,并将它们输入 14 个开放权重模型(Llama、Gemma 和 Qwen,1B 至 14B,基础版与指令微调版),分别在包含和不包含“在道德上”一词的条件下测试。在每个模型中,改变道德答案的注意力头都属于一个评估回路,模型对我们测试的每一种规范性判断都会使用该回路:这些注意力头在道德对上的效应占比与其他规范对相同(合并比值 1.00,97.5% 置信区间 [0.92, 1.07],含该词;0.90,[0.84, 0.96],不含该词),且模型对两者的依赖程度相当。当提示中没有任何要求作出判断的内容时,模型同样需要这些注意力头;在 ETHICS 基准的 400 个场景上,移除这些注意力头会使可接受与不可接受场景之间的差异减少 37% 至 39%,而十个随机注意力头仅减少 1% 至 3%。我们定位到的 SAE 特征主要响应“在道德上”一词,而非短语所涉及的内容。模型会表征一个短语对所属的类别(即标注者为其指定的标准):这一类别可从其隐藏状态中读出,并且在我们测试的八个模型中,移除承载该信息的向量方向会使道德判断减弱几个百分点,且在其中七个模型中减弱幅度大于其他判断。我们公开了这些短语对、评分、代码、训练好的 SAE 字典和结果文件。
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.21705 [cs.CL]
  (或 arXiv:2611.21705v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.21705

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Davide Liga [查看邮箱]
[v1] 2026年11月16日星期一 16:12:45 UTC(394 KB)

来源:arXiv cs.AI · arxiv.org