跳到正文
热点事件持续更新

研究:对齐评测漏掉检测到行为的路由层

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Gregory N. Frank 发表论文称,当前对齐评测多只衡量模型是否编码危险概念、是否拒答有害请求,漏掉了从概念检测到行为策略的路由层。作者以中文来源模型的政治审查为自然实验,对五个实验室的九个开放权重模型做探针、定向消融和行为测试,结论是探针准确率本身不具诊断力:政治探针、空对照和置换基线都能达到 100%,只有留出类别的泛化才是有效检验。据此作者认为,检测便宜而路由需要学习,基于拒答的评测因此失效。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. arXiv cs.CL
    研究称基于拒答的对齐评测失效,检测便宜而路由需学习

    论文指出当前对齐评测多衡量模型是否编码危险概念、是否拒答有害请求,却漏掉从概念检测到行为策略的路由层。作者以中文来源模型的政治审查为自然实验,对五个实验室的九个开放权重模型做探针、定向消融和行为测试,发现探针准确率本身不具诊断力,政治探针、空对照和置换基线都能达到 100%,只有留出类别的泛化才是有效检验。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。