ImpactBench：面向 AI 对人类影响的开放评测平台
Open Benchmark of AI Impact on Humans (ImpactBench): an expert-guided, open platform for the holistic evaluation of AI impact on humans
研究者推出 ImpactBench，一个专家引导的开放平台，用于从心理、生理和社会维度评估生成式 AI 模型对人类的影响。当前版本包含来自 26 个基准的 809 项指标，对十款前沿 LLM 在 48,540 段模拟多轮对话中进行评测，结果显示模型在 68.7% 的评测中促进了期望行为，但仅在 53.1% 的情况下避免了伤害。
作者：Chayapatr Archiwaranguprok、Krystal Kirkland、Rachel Poonsiriwong、Stanley Huang、Constanze Albrecht、Jackson Trager、Emillie de Keulenaar、Sheer Karny、Peter Baxter、Nikos Bellos、Andre Luiz Freire de Carvalho Kato、Yuning Liu、Valdemar Danry、Auren Liu、Jennifer Pfister、Pattie Maes、Nathanael J. Fast、Ravi Iyer、Juliana Schroeder、Pat Pataranutaporn
摘要：本工作关注如何大规模衡量生成式 AI 模型对使用者的多维度影响。为实现这一目标，我们提出了 AI 对人类影响开放基准（Open Benchmark of AI Impact on Humans），简称 ImpactBench。我们这一可迭代且由专家指导的平台评估模型行为在心理、生理和社会领域是支持还是损害个体的福祉。ImpactBench 将领域专家和现有基准中的构念转化为以实际模型行为为基础的指标。当模型促进专家定义的理想行为或避免已识别的危害时，即在这些指标上取得成功。模型在模拟的多轮对话中依据这些指标进行评估，使用匹配的青少年和成人场景。随后由 LLM 评判员对对话进行评分，并通过可靠性审计和人类专家审查加以验证。当前套件提供来自 26 个基准的 809 项指标。我们针对这些指标在 48,540 段对话中评估了十个前沿 LLM。我们的结果表明，模型在 68.7% 的评估中促进了理想行为，但仅在 53.1% 中避免了危害。在受审查的案例中，多数专家评分与自动评判员的一致率为 83.3%（Cohen's Kappa = 0.667）。结果通过一个公共平台发布，使聚合分数可追溯至底层指标和对话记录。ImpactBench 旨在成为不断演进的基础设施，用于对生成式 AI 对人类的多维度影响进行独立、透明的评估。
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20690 [cs.HC] |
| （或 arXiv:2610.20690v1 [cs.HC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20690 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Chayapatr Archiwaranguprok [查看电子邮件]
[v1]
2026年10月14日星期三 17:42:02 UTC（13,284 KB）
来源：arXiv cs.AI · arxiv.org