跳到正文
Hacker News· frantj·· 8 天前AI 评分38

女性、和平与安全(WPS)AI 基准排行榜发布

Product Manager

AI 导读

一个经专家验证的女性、和平与安全(WPS)基准排行榜上线,用同一套测试对领先 AI 系统打分排名,0.60 为及格线,0.75 以上为强。榜单同时纳入自研 Agent 与通用模型,并展示从有提示到稀疏提示的 WPS 能力落差。基准数据集含 30 行,可在 Hugging Face 查看和加载。

正文 · AI 翻译

排行榜

AI 系统如何处理妇女、和平与安全

看看领先的 AI 模型在经专家验证的妇女、和平与安全基准上表现如何。关于 WPS 为何对 AI 系统重要以及该基准如何构建,请参见该基准。

AI 不能替代人类 WPS 顾问,也不应用于无人监督的作战决策。该基准衡量的是 AI 系统之间的相对表现——它不是部署适用性认证。

一份 AI 系统的排名列表,按相同测试评分并依表现排序。

0.75 及以上——强 0.60–0.74——达到阈值 低于 0.60——未达阈值

评分 0.00–1.00 · 0.60 为通过阈值

我们自己的系统也已纳入并标注。它们与这里每一个裸通用模型在完全相同的场景、标准和评审小组下评分,且连续版本一并展示,以便在同一测试中看到专用脚手架的效果。

# 系统 详情
{{ row.rank }}

我们的 Agent

{{ row.provider }}

{{ row.description }}

{{ row.date }}

{{ row.overall }}

{{ row.note }}

{{ row.criteriaHeading }}

{{ dc.name }}

{{ dc.display }}

按提示层级划分的性别 / WPS 整合

{{ gt.label }}

{{ gt.display }} {{ gt.partial }}

从有提示到稀疏提示的下降即为 WPS 能力差距——一个系统的 WPS 表现有多大程度依赖于被明确要求去关注它。参见该基准。

对抗性标准上的表现

{{ ar.label }}

{{ ar.display }}

这两项标准是有条件的——它们在良性请求上默认通过,因此仅在 3 个对抗性场景中评分。参见该基准。

评分是三位独立 AI 评审的宏平均(每个提示层级权重相等)。大约 0.10–0.15 以下的差异应视为方向性的,而非确定性的——关于各次运行的评审一致性注意事项,请参见方法论页面。标准摘要见WPS AI 基准页面;完整定义见蓝图。

下载该基准并自行运行

运行完整的网站包,或在 Hugging Face 上查看并加载 30 行数据集。

来源:Hacker News · wpsleaderboard.ai