arXiv cs.AI· Chang Gong, Jingping Bi, Di Yao, Ran Cheng, Yaodong Yang, Kaile Wang, Xinjian Liang, Chao Xiang, Ruijie Guo·· 11 小时前AI 评分31
递归自我改进 AI 的进化安全：分类体系、风险发现与评估
Evolutionary Safety of Recursive Self-Improving AI: Taxonomy, Risk Discovery, and Evaluation
AI 导读
针对递归自我改进（RSI）AI，研究提出“进化安全”概念，考察安全属性在持续自我改进中如何被保留、削弱或恢复。作者归纳出六种反复出现的进化风险表现，并建立覆盖五个领域的分类体系，刻画安全相关变化如何产生、持续并传播至后继系统。研究进一步提出跨状态、更新、轨迹与谱系的发现与评估框架，并讨论修改控制、更新验证授权及可追溯与恢复的治理原则。
正文 · AI 翻译
摘要：AI 的快速进展正使递归自我改进（RSI）更接近实践，模型自训练、自进化智能体和自动化 AI 开发方面不断取得进展。然而，正是这些实现持续改进的机制也带来了 AI 安全的新挑战。与孤立故障不同，安全风险可以跨更新持续存在、通过反复适应而累积，并传播到后继系统。更重要的是，产生和选择未来改进的过程本身也可能演化，使安全越来越难以评估和维持。这引出一个根本性问题，即当 AI 系统及其改进过程都在不断变化时，如何维持安全？因此，我们引入演化安全（Evolutionary Safety）来研究安全属性在持续和递归自我改进过程中如何被保持、削弱或恢复。我们刻画了演化风险的六种反复出现的表现形式，并构建了一个五域分类法，以捕捉安全相关变化如何在演化系统中产生、持续和传播。在此基础上，我们建立了一个跨状态、更新、轨迹和谱系的风险发现与评估框架，并考察了控制修改、验证和授权更新以及确保可追溯性和恢复的治理原则。我们进一步指出了在 AI 系统及其改进机制持续演化过程中维持安全所面临的开放问题。
| 评论： | 25 页，6 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.31186 [cs.AI] |
| （或 arXiv:2609.31186v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.31186 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chang Gong [查看邮箱]
[v1]
2026 年 9 月 25 日星期五 12:17:10 UTC（4,491 KB）
[v2]
2026 年 10 月 16 日星期五 15:06:32 UTC（4,491 KB）
来源：arXiv cs.AI · arxiv.org