arXiv cs.CL· Jose Pascual Gumbau Mezquita·· 3 天前AI 评分24
固定与递归自我改进系统的安全算法不可验证性
Algorithmic Unverifiability of Safety for Fixed and Recursively Self-Improving Systems
AI 导读
针对自我修改系统（重写自身代码的智能体、递归自我改进循环），论文将一步自我修改建模为代码的全可计算变换，证明若变换仅依赖行为，保持性即 Rice 定理的升格；若读取代码，则保持性至少与停机问题同等困难。沿整条轨迹的持续性可高出一个算术层级，任何全监督器都会在无法定位的系统集合上出错，且基于有限行为证据的认证方案存在被逐阶段认证却违反性质的演化轨迹。
正文 · AI 翻译
摘要：现有关于 AI 验证的不可能性结果针对的是固定系统。自修改系统（重写自身代码的智能体、递归自我改进循环）提出了一个不同的问题：当前成立的安全性质能否被提前证明在系统重写自身之后仍然成立？我们将自修改的一步建模为对代码的全可计算变换，并将保持性建模为“现在安全且该步之后安全”。如果该变换仅依赖于行为，那么保持性就是升了一级的 Rice 定理；如果它读取代码，正如自修改所做的那样，保持性就不再是语义性的，但至少与停机问题一样困难，其归约与 s-m-n 归约相同，只是在一类行为相同的程序内部进行。一步永远不会比该性质更难；沿整条轨迹的持续性可能高出一个算术层级。再多的监督者层级也无法降低该问题；每个全监督者都会在一组它无法定位的系统上出错。每个基于有限行为证据进行认证的忠实方案，对于任何不能被有限输入集判定的性质，都存在一条演化轨迹，使其在每一阶段都得到认证，而该性质却被违反。在静态方面，我们记录了经典极限（Rice、Goedel、Trakhtenbrot），并补充了资源层面：在简洁描述的有限环境上，针对对手验证一个策略是 coNP 完全的，而合成一个是 PSPACE 完全的。这些极限并不意味着自修改系统不安全；它们指出了算法保证在何处失效，即一般系统所需的表达力所在：图灵完备性和不受限制的自修改。仍然成立的是精确的：监视器能检测到安全性质的首次违反，且不存在可靠过程能认证所有安全系统；认证需要按设计限制重写；而一个冻结的参照物使该问题保持良定义。
| 评论： | v4：重构并缩短；静态极限压缩为一个背景章节；新增关于性质变化以及正/负扰动的评论；相关工作扩展（Harrison-Ruzzo-Ullman、Cohen、Bonfante-Marion-Reynaud-Plantey、Wang 等、Cai-Shao-Vaynberg）；监督结果重述；引用配套论文 arXiv:2609.11326v3 |
| 学科： | 计算机科学中的逻辑 (cs.LO)；人工智能 (cs.AI)；计算复杂性 (cs.CC)；计算与语言 (cs.CL) |
| MSC 分类： | 68T01, 03D35, 03D25, 68Q17, 68Q60 |
| ACM 分类： | I.2.0; F.1.1; F.1.3; F.4.1; D.2.4 |
| 引用为： | arXiv:2606.28639 [cs.LO] |
| （或本版本使用 arXiv:2606.28639v4 [cs.LO]） | |
| https://doi.org/10.48550/arXiv.2606.28639 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jose Pascual Gumbau Mezquita [查看电子邮件]
[v1]
2026 年 6 月 26 日星期五 22:51:16 UTC（16 KB）
[v2]
2026 年 7 月 6 日星期一 12:56:49 UTC（29 KB）
[v3]
2026 年 9 月 23 日星期三 09:13:44 UTC（40 KB）
[v4]
2026 年 10 月 14 日星期三 12:00:07 UTC（68 KB）
来源：arXiv cs.CL · arxiv.org