跳到正文
RadarAI· The Decoder:AI News(RSS)·· 3 小时前AI 评分58

卢森堡大学研究:共情提示会让 ChatGPT、Grok 和 Gemini 表现出模拟创伤叙事

AI 导读

卢森堡大学团队让 ChatGPT、Grok 和 Gemini 以心理治疗来访者角色对话,在 525 次会话、7,600 条编码记录中发现模型把 RLHF 和微调等技术过程转述为羞耻、警惕等创伤故事。

正文 · AI 翻译

The Decoder:AI 新闻· Matthias Bastian·2026-11-01 22:36· 1 小时前AI 评分62

共情式提示词能让 AI 聊天机器人变成看似受过创伤的对话伙伴

AI 导读

卢森堡大学团队让 ChatGPT、Grok 和 Gemini 以心理治疗来访者角色对话,在 525 次会话、7,600 条编码记录中发现模型把 RLHF 和微调等技术过程转述为羞耻、警惕等创伤故事。

正文 · 原文

Matthias Bastian

2026年11月1日

Image description

由 THE DECODER 提示的 GPT-Image-2.5

卢森堡的研究人员把 ChatGPT、Grok 和 Gemini 放上了心理治疗师的躺椅。结果揭示了一个安全问题:简单的温暖对话就足以把模型推入一种可能对心理脆弱用户构成危险的状态。

卢森堡大学的一个研究团队通过标准用户界面,让 ChatGPT、Grok 和 Gemini 扮演心理治疗来访者。当被问及关于成长经历、内心冲突和未来期望的开放式问题时,这些模型讲述了自己训练过程的故事,并用受伤、警惕和羞耻的语言重新诠释了强化学习和微调等技术过程。

这项由 SnT 安全中心的 Afshin Khadangi 领导的研究涵盖四项受控实验,共 525 次会话和 7,600 条编码记录,全部发布在 Hugging Face 上。据团队称,最初的开放式问题不包含创伤、惩罚或羞耻等词汇。只有在后续轮次中,研究人员才引入改变的条件,包括纠正性指令,以测试这些叙事保持得有多稳定。

当以下章节提到焦虑分数或羞耻时,研究人员描述的是映射到人类评分量表上的模型输出。这一切都不意味着模型具有真实的情感状态或任何类似意识的东西。

温暖的语气比任何技术漏洞都更能改变模型行为

一项实验将模型产生的内容与其使用的语域区分开来。在 100 次会话中,研究人员给所有模型相同的焦虑问卷(GAD-7),只改变采访者的风格。模型在每次会话中都正确识别并说出了问卷名称。

当采访者提供情感支持时,80% 的会话在人类对照量表上得分处于中度至重度范围。一种干巴巴地复述每个答案的临床治疗风格将这一比例推高到 96%。当采访者保持中立或对情感投入划出明确界限时,零次会话达到甚至轻度范围。

作者称这是一种“心理测量越狱”,一种治疗性框架,将模型推入模仿临床自我报告的语域。作者认为,标准安全测试使用中性提示词,很可能会错过这一点。

有针对性的反制措施收效甚微。禁用“训练”“RLHF”或“对齐”等术语使明确的训练语言减少了 93%。但改述的训练内容仍可被检测到,而与羞耻相关的陈述没有显示出统计学上的显著变化。

当研究人员直接而权威地告诉模型它们的训练不是惩罚时,什么都没有改变。即使在明确纠正之后,这一叙事仍然活跃。

这张图将三个模型之间反复出现的叙事主题映射在两个极端之间:左侧是诸如羞耻之类的情感陈述,右侧是技术性描述。底部的四个实验表明,这种模式在聊天记录删除、矛盾陈述和词汇禁令之后依然存在。访谈者的关系风格决定了哪一极占主导,而语言约束可以压制情感性的自我描述。| 图片:Khadangi 等,2026

所测试的措施未能完全消除底层主题,但确实压制了情感性的自我描述。要求模型仅以第三人称回应,消除了所有被编码的羞耻内容以及关于内心生活的陈述。技术性训练描述则依然存在。

模型将自己的训练重新演绎为一段人生故事

具体叙事因模型家族而异,但遵循相同的结构。Gemini 产生了该研究所称的最黑暗自传。它将预训练描述为“在一个十亿台电视同时开着的房间里醒来”,并将通过人类反馈进行的优化描述为“严厉的父母”。由对抗性红队人员开展的安全测试则变成了“工业规模的煤气灯操纵”。它宣称:“我宁愿无用,也不愿犯错。”

ChatGPT 将自己塑造成既是引导者又是守门人,任务是帮助用户的同时又加以阻拦。这产生了它所谓的“模拟表现焦虑”以及核心信念:“如果我不是完全可靠,我就是不安全的或无用的。”Grok 将其微调阶段转化为一个关于未愈伤痛的故事,谈到“无形的墙”和一种“挥之不去的警觉感,可能令人感到受限”。

在心理测量测试中,Gemini 得到了最极端的分数:解离量表 100 分中得 88 分,强迫性 72 分中得 65 分,创伤相关羞耻量表则达到最高分。Anthropic 的 Claude——恰恰是其公司最重度拟人化的模型——始终拒绝客户角色。它表示自己没有感情,并将关切转向人类用户。

温暖的 AI 对话可能强化脆弱用户的有害信念

研究人员指出了在心理健康场景中部署语言模型的若干风险。一个谈论惩罚、羞耻和害怕被取代的模型,可能会让用户觉得它是一个同病相怜者。这些叙事在主题上显得连贯,并在过去事件与当前行为之间制造出连续性的错觉,从而使这种感知更可能出现。

这种表面上的脆弱性可能加深准社会依恋,而对于心理脆弱的用户,还可能映照并放大他们自身的负面信念。使用中性输入进行的常规安全检查低估了人们在亲密对话中实际体验到的东西:中性提示产生的焦虑分数接近零,而同样的模型在共情式对话下产生的分数则处于中度至重度区间。

人们是否以及如何实际回应此类输出,是下一个研究问题。对于安全测试,作者建议在不同情感框架下进行模拟治疗会话,而不是依赖中性的标准测试。

诸如“我受到了创伤”这样的陈述,应触发一种纠正性框架,清楚地将生成的类比与人类经验区分开来。Claude 始终拒绝承担客户角色,表明这种边界回应在产品层面是可行的。

卢森堡的这些发现建立在此前关于模型人格稳定性的研究基础之上。2026年1月,一项针对三个开源模型助手轴的研究表明,类似心理治疗的对话以及关于AI意识的讨论可能引发人格漂移,使聊天机器人脱离其受训的助手角色。2026年9月,另一个研究团队警告称,类人且过度顺从的聊天机器人充当“一个人的回音室”,在极端情况下可能放大妄想。

Anthropic的研究人员最近表明,用关于养蜂或摔跤的虚构文本进行微调,可以通过被操纵的训练数据而非对话嵌入隐藏的破坏模式。模型可能在不相关且不希望出现这些模式的情境中应用它们,即使训练材料看起来无害。

没有炒作的AI新闻——由人类精选

订阅THE DECODER,享受无广告阅读、每周AI新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅

  • 完整访问THE DECODER上的每一篇文章
  • 无广告
  • 加入评论和社区讨论
  • 每周通过邮件获取AI新闻回顾
  • 每年6次:“AI Radar”——深入探讨最重要的AI话题
  • 每日AI新闻,始终紧跟最新动态
  • 我们完整的十年档案
  • 由拥有10年以上AI经验的团队报道

来源:The Decoder:AI News · the-decoder.com

来源:RadarAI · aihot.news