跳到正文
热点事件持续更新

OpenAI提出两项互补可监控性指标

2 篇报道2 个报道来源2 小时前更新

先了解这件事

AI 综述

OpenAI 在 Alignment 研究博客中为 g-mean² 补充两个可监控性指标:配对匹配可监控性只在多个模型共同支持的实例上比较,以减少各模型有效任务子集不同带来的偏差;后控制风险指标模拟监控器拒绝输出后的部署场景,量化系统最终放行坏输出的概率。OpenAI 称,g-mean² 不反映监控器作为部署控制手段的实际效果。 OpenAI 称,对齐更好但可监控性更低的模型,在监控门控重采样下可能反而放行更多被接受的作弊行为。该部署方案是假设性的,OpenAI 表示当前并未以这种方式部署模型;由于无法判断单次输出是否由干预导致,该指标未在干预评估中报告。

AI 根据报道生成 · 37 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. OpenAI Alignment 研究博客
    OpenAI 提出 g-mean² 之外的互补可监控性指标

    OpenAI 在 g-mean² 之外提出两个互补指标:配对匹配可监控性在共享任务实例上比较模型,减少不同模型有效样本子集差异带来的混淆;后控制风险指标模拟监控器拒绝输出后的部署场景,量化系统最终放行坏输出的概率。研究指出,对齐更好但可监控性更低的模型,在监控门控重采样下可能反而放行更多被接受的作弊行为。

  2. RadarAI
    OpenAI 提出 g-mean² 之外的两个互补可监控性指标

    OpenAI 在 Alignment 研究博客中为 g-mean² 补充 pair-matched 与 post-control 两个指标:前者只在多个模型共同支持的实例上比较可监控性,避免各模型有效任务子集不同带来的偏差;后者模拟监控器拒绝输出后的部署风险,衡量模型被监控门控后仍产出不良输出的概率。原文指出 g-mean² 不反映监控器作为部署控制手段的实际效果。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。