arXiv cs.AI· Yao Huang, Yichi Zhang, Yifan Wang, Yitong Sun, Haoyu Dong, Jifan Ma, Jinzhe Tu, Xiaojian Li, S\"oren Mindermann, Wei Xu, Yinpeng Dong·· 11 小时前AI 评分60
研究提出预测前沿 AI 系统失控风险的行为框架
A Behavioural Framework for Predicting and Understanding Loss of Control in Frontier Artificial Intelligence Systems
AI 导读
该论文提出一个行为框架，将前沿 AI 系统的失控风险拆解为动机错位、危害能力与监控规避三个因素，并通过 13 个可测维度和 29 项评测任务汇总为单一 LoC 分数。在 13 个前沿模型上，LoC 分数与受控长时程风险场景中的失败率相关性达 Pearson r = 0.84，且风险差异无法仅用能力解释。作者还显示，针对诊断出的薄弱环节做微调与监控可降低失败率，同时大体保持通用性能。
正文 · AI 翻译
作者：Yao Huang、Yichi Zhang、Yifan Wang、Yitong Sun、Haoyu Dong、Jifan Ma、Jinzhe Tu、Xiaojian Li、Sören Mindermann、Wei Xu、Yinpeng Dong
摘要：前沿人工智能（AI）系统正日益在更长的时间跨度内运行，同时人类的监督不断减少，这提高了失控风险：系统在超出有效人类控制的情况下行动，可能带来不可逆的后果。由于此类失败可能只有在难以遏制之后才会显现，因此必须前瞻性地进行评估。我们提出了一个行为框架，将失控风险分解为三个因素：动机错位、有害能力、监控规避。我们通过 13 个可测量方面和 29 项评估任务将这些因素操作化，其得分被合并为单一的失控（LoC）分数。在 13 个前沿模型中，LoC 分数表现出很强的预测效度，与受控长时程风险场景中的失败率相关（Pearson r = 0.84）。风险在不同模型间存在系统性差异，且不能仅用能力来解释。我们进一步表明，该框架可以指导有针对性的缓解措施：针对已诊断漏洞的微调和监控可降低失败率，同时基本保持通用性能。这些结果为在失控风险成为现实之前预测、理解和缓解该风险提供了实用基础。
| 注释： | 39 页，5 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.07953 [cs.AI] |
| （或 arXiv:2611.07953v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07953 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yifan Wang [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 12:49:20 UTC（4,287 KB）
来源：arXiv cs.AI · arxiv.org