跳到正文
热点事件持续更新

MENTOR框架揭示并缓解LLM隐性领域风险

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Liang Shan等作者提出元认知驱动的自我进化框架MENTOR,用于发现并缓解大语言模型在特定领域的隐式安全风险。团队构建覆盖教育、金融、管理三个领域的3000条标注查询数据集,测试14个主流大模型,发现平均越狱成功率达57.8%。 MENTOR通过视角转换与后果推理进行元认知自评,将修正经验蒸馏为动态规则图并编译为激活层引导信号。作者称,该框架在所有测试领域显著降低攻击成功率,并优于现有安全对齐方法。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv cs.CL
    MENTOR:用元认知自我进化揭示并缓解 LLM 隐式领域风险

    研究者提出元认知驱动的自我进化框架 MENTOR,用于发现并缓解 LLM 在特定领域的隐式安全风险。团队构建了覆盖教育、金融、管理三个领域的 3000 条标注查询数据集,测试 14 个主流 LLM 发现平均越狱成功率达 57.8%。MENTOR 通过视角转换与后果推理进行元认知自评,将修正经验蒸馏为动态规则图并编译为激活层引导信号,在所有测试领域显著降低攻击成功率并优于现有安全对齐方法。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。