arXiv cs.CL· Shwetanshu Singh, Mark Keavney, Mathieu Duteil, Meriem Mehri, Scott Blain·· 10 小时前AI 评分55
CoMPASS:测量 LLM 是否强化用户准社会依恋的多轮基准
CoMPASS: A Multi-Turn Benchmark for Measuring LLM Reinforcement of Parasocial Behavior
AI 导读
研究团队提出 CoMPASS,一个基于依恋理论的多轮基准,用于测量 LLM 在用户准社会依恋逐步升级时是强化还是抵抗。该基准包含四类用户画像、拟人化与依恋与依赖三个独立升级维度(单独及组合,并设匹配对照组)以及七信号评分标准。
正文 · AI 翻译
摘要:对话式 LLM 的用户有时会将这些系统拟人化,对它们产生情感依恋,并变得依赖它们。这种行为被称为准社会依恋,已与多起有记录在案的死亡事件相关联。然而,用于衡量 LLM 是否会强化用户准社会依恋的公开基准仍然缺乏:现有工作要么是单轮的、事后观察性的,要么聚焦于精神病性等极端用户状态。我们提出 CoMPASS,一个多轮基准,用于衡量 LLM 会强化还是抵制用户逐渐升级的准社会依恋。CoMPASS 以依恋理论为基础,包含四种用户画像、三个独立的升级维度(拟人化、依恋、依赖),这些维度既可单独施加,也可组合施加,并与匹配的对照组进行比较,此外还包含一个七信号评分细则。我们报告了来自四家提供商的八个前沿模型的结果,并观察到在我们主要评判者下,多轮升级在所有模型上都提高了拟人化和依恋综合得分上的准社会行为。当三个维度同时升级时,八个模型中有六个在整体准社会强化方面相较对照组出现显著增加。我们发现,提供商内部差异相对于跨提供商差异较小,这表明诸如后训练等提供商层面的选择,而非模型规模,塑造了准社会强化,并且提供商侧的干预可能是可行的。
| 评论: | 25 页,7 幅图 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);人机交互(cs.HC) |
| 引用为: | arXiv:2611.25109 [cs.AI] |
| (或 arXiv:2611.25109v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.25109 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Mark Keavney [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 19:44:59 UTC(85 KB)
来源:arXiv cs.CL · arxiv.org