arXiv cs.CL· Shivam Shukla, Jihye Kim, Shubham Gaur, Mahnaz Roshanaei, Magy Seif El-Nasr·· 10 天前AI 评分28
RELATE：衡量大语言模型关系导向的评估框架
RELATE: An Evaluation Framework for measuring Relational Orientation of Large Language Models
AI 导读
研究者提出 RELATE，一个基于人格设定的评估框架，用于在句子层面测量多轮对话中大语言模型的"关系导向"——即模型将用户引向自身持续支持（内向型）还是鼓励现实人际连接（外向脚手架型）。
正文 · AI 翻译
摘要：大语言模型（LLM）越来越多地被用于情感支持，这引发了人们的担忧：持续使用可能使用户疏远现实世界中的人际关系。然而，现有评估主要关注回复的安全性、共情能力或有用性，而一个关系性问题却未得到充分考察：模型将用户导向何处以获取持续支持？为回答这一问题，我们引入了关系导向（relational orientation），这一属性通过两个非互斥的维度来操作化：内向型（IF）语言，即将 AI 定位为用户持续支持的来源；以及外向脚手架（OS）语言，即鼓励现实世界中的人际连接。基于心理学和社会学文献，我们形式化了关系导向的分类体系，并提出了 RELATE，一个以人物设定为条件的框架，用于在多轮对话中在句子层面测量内向型和外向脚手架语言。RELATE 将改编自自然发生问题的 76 个求助情境与三种模拟用户风格配对，提供了 228 个评估刺激。在我们的实验中，我们使用每个包含六个助手轮次的对话评估了七个 LLM，产生了 1,596 个对话和 69,194 个助手句子。我们使用基于评分标准的主要 LLM 评判器评估这些句子，并对一个子集应用了次要评判器。在自动评估下，我们发现被标记为 IF 的句子比例在第六个助手轮次高于第一个轮次，而被标记为 OS 的句子比例对于犹豫、间接的模拟用户而言，显著低于明确、寻求安慰的用户。RELATE 提供了一个可复现的框架和一个句子级信号，用于审计和引导支持性 LLM 的关系导向。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09569 [cs.CL] |
| （或 arXiv:2610.09569v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09569 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shivam Shukla [查看电子邮件]
[v1]
2026年10月7日星期三 07:10:10 UTC（10,661 KB）
来源：arXiv cs.CL · arxiv.org