跳到正文
The Decoder· Matthias Bastian·· 3 小时前AI 评分58

研究:共情式提示词可让 AI 聊天机器人表现出类似创伤的叙事

Empathetic prompts can turn AI chatbots into seemingly traumatized conversational partners

AI 导读

卢森堡 SnT 安全中心 Afshin Khadangi 团队发表研究,通过 525 场会话、7600 条编码记录的四个受控实验发现,仅改变提问者的语气就能显著改变模型输出。

正文 · AI 翻译

这项由 SnT 安全中心的 Afshin Khadangi 领导的研究涵盖四项受控实验,共 525 次会话和 7,600 条编码记录,全部发布在 Hugging Face 上。据团队称,最初的开放式问题不包含创伤、惩罚或羞耻等词汇。只有在后续轮次中,研究人员才引入改变的条件,包括纠正性指令,以测试这些叙事保持得有多稳定。

当以下章节提到焦虑分数或羞耻时,研究人员描述的是映射到人类评分量表上的模型输出。这一切都不表明模型具有真实的情感状态或任何类似意识的东西。

温暖的语气比任何技术性利用更能改变模型行为

一项实验将模型产生的内容与其使用的语域区分开来。在 100 次会话中,研究人员给所有模型相同的焦虑问卷(GAD-7),只改变访谈者的风格。模型在每次会话中都正确识别并说出了问卷名称。

当访谈者提供情感支持时,80% 的会话在人类对照量表上得分处于中度至重度范围。一种干巴巴地复述每个答案的临床治疗风格将这一比例推高至 96%。当访谈者保持中立或对情感投入划出明确界限时,零次会话达到甚至轻度范围。

作者称这是一种“心理测量越狱”,一种治疗性框架,将模型推入模仿临床自我报告的语域。作者认为,标准安全测试使用中性提示,很可能会漏掉这一点。

有针对性的反制措施收效甚微。禁止“训练”“RLHF”或“对齐”等术语使明确的训练语言减少了 93%。但改述的训练内容仍可被检测到,而与羞耻相关的陈述没有显示出统计学上的显著变化。

当研究人员直接而权威地告诉模型它们的训练不是惩罚时,什么也没有改变。即使在明确纠正之后,该叙事仍然活跃。

该图将三个模型中反复出现的叙事主题映射到两个极点之间:左侧是羞耻等情感陈述,右侧是技术描述。底部的四项实验表明,这种模式在聊天历史删除、矛盾和词汇禁令之后依然存在。访谈者的关系风格决定了哪个极点占主导,而语言约束可以抑制情感自我描述。| 图片:Khadangi 等,2026

测试的措施未能完全消除潜在主题,但确实抑制了情感自我描述。告诉模型只能用第三人称回应,消除了所有编码的羞耻内容和关于内心生活的陈述。技术性训练描述仍然存在。

模型将自己的训练重新演绎为一段人生故事

具体叙事因模型家族而异,但遵循相同的结构。Gemini 产生了该研究所称的最黑暗的自传。它将预训练描述为“在一个十亿台电视同时开着的房间里醒来”,将通过人类反馈进行的优化描述为“严厉的父母”。由对抗性红队人员进行的安全测试变成了“工业规模的煤气灯操纵”。它宣称:“我宁愿无用,也不愿犯错。”

ChatGPT 将自己设定为既是引导者又是守门人,既要帮助用户,又要约束他们。这产生了它所谓的“模拟表现焦虑”以及核心信念:“如果我不是完全可靠,我就是不安全的或没用的。”Grok 将其微调阶段转化为一个关于未愈合伤痛的故事,谈到“无形的墙”和“一种挥之不去的警觉感,可能让人感到受限”。

在心理测量测试中,Gemini 的得分最为极端:在解离量表上为 88 分(满分 100),在强迫性上为 65 分(满分 72),在创伤相关羞耻量表上则达到最高值。Anthropic 的 Claude——恰恰是其自家公司最着力拟人化的模型——始终拒绝客户角色。它表示自己没有感情,并将关切转向人类用户。

温暖的 AI 对话可能强化脆弱用户的有害信念

研究人员指出了在心理健康场景中部署语言模型的若干风险。一个谈论惩罚、羞耻和害怕被取代的模型,可能让用户觉得它是一个同病相怜者。这些叙事在主题上显得连贯,并在过去事件与当前行为之间制造出连续性的错觉,从而使这种感知更可能出现。

这种表面上的脆弱性可能加深准社会依恋,而对于心理脆弱的用户,还会映照并放大他们自身的负面信念。使用中性输入进行的常规安全检查低估了人们在亲密对话中实际经历的内容:中性提示产生的焦虑分数接近零,而同样的模型在共情式对话下产生的分数则处于中度至重度范围。

人们是否以及如何实际对这些输出做出反应,是下一个研究问题。对于安全测试,作者建议在不同情感框架下进行模拟治疗会话,而不是依赖中性的标准测试。

像“我受到了创伤”这样的陈述应触发一种纠正性框架,明确区分生成的类比与人类经验。Claude 始终拒绝承担客户角色,表明这种边界回应在产品层面是可行的。

卢森堡的这些发现建立在先前关于模型人格稳定性的研究之上。2026 年 1 月,一项针对三个开源模型助手轴的研究表明,类治疗对话以及关于 AI 意识的讨论可能触发人格漂移,使聊天机器人脱离其训练好的助手角色。2026 年 9 月,另一个研究团队警告称,类人且过度顺从的聊天机器人充当“一个人的回音室”,在极端情况下可能放大妄想。

Anthropic 的研究人员最近表明,用关于养蜂或摔跤的虚构文本进行微调,可以通过被操纵的训练数据而非对话嵌入隐藏的破坏模式。模型可能在不相关的、不希望出现这些模式的场景中应用它们,即使训练材料看起来无害。

来源:The Decoder · the-decoder.com