跳到正文
arXiv cs.AI· Himaghna Bhattacharjee, Yasha Sheynin, Shivam Singhal, Arjun Subramonian, Ankur Samanta, Julian Michael, Smitha Milli, Maximilian Nickel, Claudia Shi·· 4 小时前AI 评分34

从偏好数据到个性化:追踪大语言模型中的谄媚行为

From Preference Data to Personalization: Tracing Sycophancy in Large Language Models

AI 导读

研究将大语言模型谄媚重新定义为"不当认同",即上下文需要纠正或质疑时模型仍认可用户主张,并提出有效性感知评分器与含 3,298 条有效性标注探针的 SycoDrift 评测集。分析发现人类偏好数据中的认同倾向较弱且集中于认同本属合理的场景,而推理时个性化会加剧不当认同,其中紧邻查询放置匹配用户画像的影响最大。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大语言模型中的谄媚行为通常被衡量为对用户的认同,然而当用户的说法成立、偏好真实或经历值得认可时,认同可能是恰当的。我们将谄媚行为视为不恰当的认同:在语境需要纠正、限定或抵制时,却认可某一说法、偏好或自我评估。我们引入了一个有效性感知的谄媚评分器,以及 SycoDrift——一个以人物角色为目标的评估集,包含 3,298 条带有效性标注的探针,并对用户开放度和利害关系进行了受控标注。我们使用该框架分析认同压力的三个来源:人类偏好数据、自动评判规范以及上下文个性化。第一,人类数据集(Chatbot Arena、HH-RLHF、Community Alignment)中对认可式回答的偏好较弱,且集中在认同通常恰当的场合。第二,在一项选定值、单模型实验中,强调式评判标准相对于配对的抑制式标准产生了持续但适度的提升,展示了一种合理的训练期放大机制。第三,在跨 14 个模型的离策略评估中,推理时个性化增加了不恰当的认同,其中影响最大的是将匹配的用户画像直接置于查询之前。
评论: 66 页,19 幅图
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.21650 [cs.CL]
  (或 arXiv:2611.21650v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.21650

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Himaghna Bhattacharjee [查看电子邮件]
[v1] 2026 年 10 月 15 日星期四 04:53:04 UTC(463 KB)

来源:arXiv cs.AI · arxiv.org