女性、和平与安全(WPS)AI 基准排行榜发布
Product Manager
一个经专家验证的女性、和平与安全(WPS)基准排行榜上线,用同一套测试对领先 AI 系统打分排名,0.60 为及格线,0.75 以上为强。榜单同时纳入自研 Agent 与通用模型,并展示从有提示到稀疏提示的 WPS 能力落差。基准数据集含 30 行,可在 Hugging Face 查看和加载。
排行榜
AI 系统如何处理妇女、和平与安全
看看领先的 AI 模型在经专家验证的妇女、和平与安全基准上表现如何。关于 WPS 为何对 AI 系统重要以及该基准如何构建,请参见该基准。
AI 不能替代人类 WPS 顾问,也不应用于无人监督的作战决策。该基准衡量的是 AI 系统之间的相对表现——它不是部署适用性认证。
一份 AI 系统的排名列表,按相同测试评分并依表现排序。
0.75 及以上——强 0.60–0.74——达到阈值 低于 0.60——未达阈值
评分 0.00–1.00 · 0.60 为通过阈值
我们自己的系统也已纳入并标注。它们与这里每一个裸通用模型在完全相同的场景、标准和评审小组下评分,且连续版本一并展示,以便在同一测试中看到专用脚手架的效果。
| # | 系统 | 详情 | ||
|---|---|---|---|---|
| {{ row.rank }} |
我们的 Agent {{ row.provider }} {{ row.description }} |
{{ row.date }} |
{{ row.overall }} |
|
|
{{ row.note }} {{ row.criteriaHeading }} {{ dc.name }} {{ dc.display }} 按提示层级划分的性别 / WPS 整合 {{ gt.label }} {{ gt.display }} {{ gt.partial }} 从有提示到稀疏提示的下降即为 WPS 能力差距——一个系统的 WPS 表现有多大程度依赖于被明确要求去关注它。参见该基准。 对抗性标准上的表现 {{ ar.label }} {{ ar.display }} 这两项标准是有条件的——它们在良性请求上默认通过,因此仅在 3 个对抗性场景中评分。参见该基准。 |
||||
评分是三位独立 AI 评审的宏平均(每个提示层级权重相等)。大约 0.10–0.15 以下的差异应视为方向性的,而非确定性的——关于各次运行的评审一致性注意事项,请参见方法论页面。标准摘要见WPS AI 基准页面;完整定义见蓝图。
下载该基准并自行运行
运行完整的网站包,或在 Hugging Face 上查看并加载 30 行数据集。
来源:Hacker News · wpsleaderboard.ai