arXiv cs.AI· Jonathan Ivey, Aimee Liang, Arthur Y. S. Wang, Madeline Mandell, Ziang Xiao, Anjalie Field·· 9 天前AI 评分34
InterviewPlayground：一个经实证验证的 AI 访谈员评估仿真环境
InterviewPlayground: A Validated Simulation Environment for Evaluating AI Interviewers
AI 导读
研究者开发了 InterviewPlayground，一个用社会理论驱动的模拟受访者来评估 AI 访谈员的仿真环境，并生成 InterviewReportCard 报告卡。通过 5 个 AI 访谈员、3 个访谈主题、450 名真人参与的 15 项真实定性研究对比，该环境在 12 项指标上以平均 0.86 的 Pearson 相关系数预测真人研究中的表现，并复现了人类研究中的关键行为分析发现。
正文 · AI 翻译
摘要：越来越多的 AI 访谈员被开发出来，用于在市场调研、公众民意调查、偏好 elicitation 和社会科学研究等应用中引出开放式回答。然而，评估 AI 访谈员颇具挑战，因为它们运行于延展的多轮交互中，必须适应参与者的行为。为满足这一需求，我们开发了 InterviewPlayground，一个用于评估 AI 访谈员的模拟环境，其模拟研究参与者的行为以社会理论为基础。InterviewPlayground 中的模拟研究生成一份 InterviewReportCard，使用一套经过验证的指标评估 AI 访谈员的表现。为检验我们基于模拟的评估能否预测与人类参与者互动时的表现，我们开展了 15 项真实定性研究，涉及 5 个 AI 访谈员、3 个访谈主题和 450 名人类参与者，并将其与 InterviewPlayground 中的模拟研究进行比较。我们发现，AI 访谈员在 InterviewPlayground 中的表现能够预测其在人类研究中的表现，在 12 项指标上的平均 Pearson 相关系数为 0.86，并且 InterviewPlayground 的模拟交互再现了人类研究中对 AI 访谈员进行行为分析的关键发现。这些发现共同支持了 InterviewPlayground 在评估 AI 访谈员表现和考察潜在失败模式方面的有效性。我们的工作贡献了一个经过实证验证支持的 AI 访谈员模拟环境，更广泛地说，为未来开发经过验证的、基于模拟的对话式 AI 系统评估提供了路线图。
| Comments: | Preprint. 23 pages |
| Subjects: | Artificial Intelligence (cs.AI); Computation and Language (cs.CL) |
| Cite as: | arXiv:2610.12023 [cs.AI] |
| (or arXiv:2610.12023v1 [cs.AI] for this version) | |
| https://doi.org/10.48550/arXiv.2610.12023 arXiv-issued DOI via DataCite (pending registration) |
Submission history
From: Jonathan Ivey [view email]
[v1]
Thu, 8 Oct 2026 14:20:46 UTC (362 KB)
来源：arXiv cs.AI · arxiv.org