MENTOR：用元认知自我进化揭示并缓解 LLM 隐式领域风险
MENTOR: A Metacognition-Driven Self-Evolution Framework for Uncovering and Mitigating Implicit Domain Risks in LLMs
研究者提出元认知驱动的自我进化框架 MENTOR，用于发现并缓解 LLM 在特定领域的隐式安全风险。团队构建了覆盖教育、金融、管理三个领域的 3000 条标注查询数据集，测试 14 个主流 LLM 发现平均越狱成功率达 57.8%。MENTOR 通过视角转换与后果推理进行元认知自评，将修正经验蒸馏为动态规则图并编译为激活层引导信号，在所有测试领域显著降低攻击成功率并优于现有安全对齐方法。
作者：Liang Shan、Kaicheng Shen、Wen Wu、Zhenyu Ying、Chaochao Lu、Yan Teng、Jingqi Huang、Qingshan Liu、Guoqing Wang、Jie Zhou、Liang He
摘要：确保大型语言模型（LLM）的安全对于实际部署至关重要。然而，当前的安全措施往往无法应对隐性的、特定领域的风险。为探究这一缺口，我们引入了一个包含 3,000 条标注查询的数据集，涵盖教育、金融和管理领域。对 14 个领先 LLM 的评估揭示了一个令人担忧的脆弱性：平均越狱成功率为 57.8\%。为此，我们提出 MENTOR，一个元认知驱动的自我进化框架。MENTOR 执行元认知自我评估，采用换位思考和后果推理等策略来揭示潜在的模型错位。MENTOR 将针对常规请求的单次规则引导推理与选择性调用的元认知进化循环相结合，后者会修正残留的不安全响应，将成功的修正蒸馏为动态规则图，并将经过验证的规则编译为激活层面的引导信号，用于未来的推理。实验表明，MENTOR 在所有测试领域均大幅降低了攻击成功率，并优于现有的安全对齐方法。MENTOR 的代码和数据集可在以下地址获取：此 https URL。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2511.07107 [cs.AI] |
| （或 arXiv:2511.07107v5 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2511.07107 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Liang Shan [查看邮箱]
[v1]
2025 年 11 月 10 日星期一 13:51:51 UTC（290 KB）
[v2]
2026 年 1 月 8 日星期四 04:30:15 UTC（428 KB）
[v3]
2026 年 6 月 3 日星期三 14:35:36 UTC（395 KB）
[v4]
2026 年 7 月 31 日星期五 18:29:13 UTC（573 KB）
[v5]
2026 年 10 月 21 日星期三 20:32:48 UTC（629 KB）
来源：arXiv cs.CL · arxiv.org