arXiv cs.CL· Lex Konnelly, Elena Khasanova, Riqiang Wang, Matthias Lee, Harsh Saini, Parsa Kavehzadeh·· 9 天前AI 评分22
用社会语言学方法构建与测量用户模拟中的角色保真度
Back in Style: A Sociolinguistic Approach to Authoring and Measuring Persona Fidelity in User Simulation
AI 导读
一项 pilot 研究提出用社会语言学方式定义用户角色：将角色写成具体的文体特征频率，而非依赖标签或描述让模型外推，从而把作者身份验证文体计量学和基于词典的内容分析这两种无需模型的工具用作保真度诊断指标。
正文 · AI 翻译
摘要：随着智能体系统在商业上日益流行，用户模拟器越来越多地被用作其评估的测量工具。然而，与真实人类用户相比，模拟用户的保真度普遍较低，且通常由成本高昂、主观的 LLM 评判者来评估。在这项试点研究中，我们探讨保真度是否可以通过将用户人设从社会语言学角度处理来进行确定性测量：即将其视为一种从可观察的语言风格中涌现出的社会类型，而非由模型必须外推为行为的标签或描述所预测的类型。我们将人设编写为具体的风格比率，这使我们能够迁移两种成熟的、无需模型的工具——作者身份验证文体计量学和基于词典的内容分析——作为保真度诊断方法。我们在五个面向任务的客服智能体上，对社会语言学方案与扁平描述性基线进行了 A/B 测试。结果表明，对于大多数被测模型，社会语言学方案同时提升了风格遵循度和文体计量可区分性，但需注意人设风格保真度并不必然等同于人设的“自然度”。我们认为，将社会语言学方法用于人设设计是通向更多样、更具代表性用户人设的一条有前景的路径，并且这些指标在错误归因分析中最有价值，可定位保真度在何处失效。这是迈向干预措施的第一步，这些干预措施使用户模拟更接近对多样且可变语言输出的忠实呈现。
| 评论： | 已被 UserSim @ NeurIPS 2026 研讨会接收（非存档） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10988 [cs.CL] |
| （或使用 arXiv:2610.10988v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.10988 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Elena Khasanova [查看电子邮件]
[v1]
2026年10月7日星期三 23:21:49 UTC（39 KB）
来源：arXiv cs.CL · arxiv.org