System One 模型在在线内容审核中的基准测试

研究评估了接受自然语言上下文、返回类型化选项、概率或分数的 System One 模型能否支撑在线审核场景。在五个审核基准上，Jev 与专用参考系统表现相当，在若干基于政策的场景和有害内容场景中持平或更优。研究还用受控信息条件区分了书面规则、检索到的先例等不同信息的作用。