arXiv cs.AI· Dennis Fucci, Andrea Bacciu, Dong Liu, Weronika {\L}ajewska, Saab Mansour·· 10 天前AI 评分22
Wiki-Talkie：基于真实讨论的多语言人格智能体基准
Wiki-Talkie: Multilingual Benchmarking of Persona-Based Agents on Real-World Discussions
AI 导读
研究者推出 Wiki-Talkie，一个取自 Wikipedia Talk 页面真实对话的多语言数据集，覆盖德语、英语、西班牙语、法语、意大利语五种语言，并配以真实用户社区的人格画像。在下一轮对话生成任务上评估显示，用户评论历史对交互行为的示范效果持续优于显式人格信息，且模型系统性地少产生负面或极端情绪、多产生引用与建议，表现出亲社会与正向偏好，这些模式在各语言间稳健一致。
正文 · AI 翻译
摘要：LLM 正越来越多地作为自主智能体部署于社交环境中，因此研究其能否忠实模拟人类交互变得至关重要。其核心在于让智能体基于真实的用户人设，然而现有数据集依赖虚构人设，且仅涵盖少数几种语言，缺乏评估不同人群行为保真度所需的实证基础。我们提出 Wiki-Talkie，这是一个多语言真实世界对话数据集，来自五种语言的 Wikipedia 讨论页，涵盖两个语系：日耳曼语族（德语、英语）和罗曼语族（西班牙语、法语、意大利语），并配以源自真实用户社区的人设，涵盖社会人口学属性、自我描述以及基于行为的交互特征。利用 Wiki-Talkie，我们在下一轮生成任务上评估智能体的交互行为，采用多种人设条件策略。我们的评估考察智能体是否能在整体上复现人类讨论中观察到的分布性行为模式。结果表明，以用户评论历史来示例交互行为，始终优于显式的人设信息。此外，模型系统性地少产生负面或极端情绪，而多产生引用和建议，显示出对随和与积极性的偏向。关键在于，这些模式在不同语言间稳健成立，跨语言差异很小。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08513 [cs.CL] |
| （或 arXiv:2610.08513v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08513 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Dennis Fucci [查看邮箱]
[v1]
2026年10月6日星期二 15:17:46 UTC（4,529 KB）
来源：arXiv cs.AI · arxiv.org