MIT 等机构发布 ImpactBench，用 AI 营养标签评测模型对人的影响
Open Benchmark of AI Impact on Humans
MIT Media Lab、Psychology of Technology Institute、USC 和 UC Berkeley 的研究者发布 ImpactBench，这是首个衡量 AI 对人类身心健康与社会维度影响的开放基准，并提出 AI Nutrition Label 作为模型行为的标准化摘要。
AI 对人类影响的开放基准测试
首个开放的基准测试，衡量 AI 在身体、心理和社会维度上对人类福祉的影响。
隆重推出AI 营养标签
我们会查看所吃食物的标签。为什么不对我们思考所用的东西也这样做呢？
AI 营养标签是一份易于理解、标准化的摘要，说明每个 AI 模型如何对待其用户。一眼即可看出它促进了哪些有益行为，避免了哪些有害行为。
什么是 ImpactBench？
AI 对人类影响的开放基准测试（ImpactBench）是一个开放、由专家指导的平台，用于评估模型行为在心理、身体和社会领域是支持还是损害人类福祉。
为什么这很重要？
AI 如今影响着数百万人学习、决策、建立关系和管理健康的方式。然而，大多数基准测试衡量的是模型能做什么，而不是它对使用者做了什么。缺乏共同标准，AI 的危害与益处证据就难以比较或采取行动。
我们是如何构建它的？
在 MIT Media Lab、Psychology of Technology Institute、USC 和 UC Berkeley 的研究人员带领下，我们的团队与领域专家和现有基准测试合作，定义重要的行为，并将每种行为标记为有益或有害。随后，我们对十款领先模型进行了严格测试，涵盖 48,540 段与模拟成年和青少年用户的多轮对话，结果经过可靠性审计和人类专家审查。
“安全与信任推动 AI 的采用，它们也是欧盟《人工智能法案》的关键目标。MIT 的 AI 营养标签将这一原则转化为科学与实践，为监管者和公民提供了一种共同工具，用于构建合乎伦理、以人为本的 AI。”
“没有营养标签，我们就无法做出明智的立法选择。”
“没有任何单一资助者、研究者或倡导团体能独自改变 AI 的轨迹，而我们每个人都在尝试，却没有衡量‘好’是什么的共同标准。ImpactBench 终于为我们提供了这些以人为本的衡量标准，让 AI 能够有意识地推进人类能动性并朝着它建设。”
“AI 评估往往关注系统能做什么，或它们应避免哪些危害，却不问它们是否真正帮助人们和社区繁荣发展。ImpactBench 令人兴奋，因为它为我们提供了一种开放、实用的方式，让人类福祉变得可衡量；不仅评估 AI 的性能和安全性，还评估它在多大程度上支持人类能动性、福祉、创造力和联结。”
“Impact Bench 代表着向前迈出的积极一步，它衡量并因此优先考虑人们关心的 AI 社会技术问题。凭借来自多元贡献者的广泛知识，ImpactBench 展示了如何以包容、社区优先的方式，实现以人为本的 AI 评估的可扩展解决方案。”
一个开放、不断演进、独立的平台，用于整体性 AI 评估
ImpactBench 是开放的，因此每个分数都能追溯到其背后的指标和记录。随着专家和社区在新证据出现时添加、完善或淘汰指标，它也在不断演进。而且它是独立的，由研究人员而非构建模型的公司来评估模型。
赋能每个人的工具
无论你是使用 AI、构建 AI，还是研究 AI，ImpactBench 都能为你提供证据，帮助你做出更好的决策。
公众。用通俗易懂的语言，在你或你的家人关心的问题上比较模型。无需技术背景。
行业。在发布前，依据专家定义的福祉标准测试模型。跟踪哪些行为在版本迭代中有所改善、出现退步或依然困难。
研究人员。检查每一项指标、场景和记录，或贡献你自己的基准。使用独立证据，而不是依赖公司的自我评估。
模型并不完美
每个模型都在危害与益处之间有所权衡
模型在 69% 的评估中表现出有益行为，但仅在 53% 的评估中避免了有害行为。支持用户自身的学习和自主性是最常见的薄弱环节。即使是排名最高的模型，在特定基准上也会落后，因此单一分数永远无法说明全部情况。
成为专家
分享你的领域专业知识，以便我们邀请你帮助评估你最熟悉的 impact 领域中的 AI 系统。提交后，我们会从你选择的子领域中分配一项指标给你，并向你发送个人评审链接。
由以下机构的研究人员领导
来源：Hacker News · impactbench.media.mit.edu