arXiv cs.AI· Brian B. Moser, Stanislav Frolov, Tobias C. Nauen, Federico Raue, Andreas Dengel·· 2 天前AI 评分39
大语言模型自我改进问题：为何自动化评估门无法同时保证可靠性与非保守性
The Self-Improvement Problem
AI 导读
随着大语言模型驱动的智能体开始自主写代码、调用工具并修改自身组件，arXiv 论文《The Self-Improvement Problem》形式化了一个结构性矛盾：评估门必须是可终止的计算过程，而"真正的语义改进"依赖可能无界的程序行为，因此不存在任何终止性程序能同时保证可靠性（绝不接受非改进）与非保守性（绝不漏掉可用改进），随机化门在有限误差下同样受限。
正文 · AI 翻译
摘要：随着大语言模型的兴起，智能体系统正变得越来越自主，它们会编写代码、调用工具、修改提示词，并提出对自身组件的修改建议。这种自主性为安全自我改进提出了一个根本性问题：像奖励模型或自动审稿人这样的自动化把关机制，能否可靠地判断某项提议的更新是否应被接受？困难是结构性的。把关机制必须是一个可终止、可计算的程序，而我们最终关心的属性，即某项更新是否是真正的语义改进，却取决于可能无界的程序行为。我们通过将智能体建模为程序，并以一种未必可计算的语义分数来定义改进，从而形式化了这一错配。我们研究了两种评估抽象。第一种是批准或拒绝某项更新的认证器。第二种是搜索过程，在给定提议生成器的访问权限后，若存在某个改进候选，则尝试输出它。我们表明，在完全一般的设定下，没有任何可终止的程序能够同时保证可靠性（绝不接受非改进）与非保守性（绝不遗漏可用的改进）：自指构造可以迫使任何这样的把关机制或搜索器失败。有界错误的随机化把关机制面临同样的限制。随后，我们识别出实践中使用的一种标准可判定情形（有界评估与有限提议预算），在此情形下，穷举模拟可产生一个具有所需保证的可终止搜索过程。我们还展示了这种恢复的极限：一串被接受的更新可以在每一轮都提高有界分数，而真实分数却在下降。我们的结果在有界设定与无界、通用设定之间划出了一条边界：前者可通过设计恢复正确性保证，后者的正确性保证则会崩塌。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21646 [cs.AI] |
| （或本版本使用 arXiv:2610.21646v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.21646 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Brian Moser [查看电子邮件]
[v1]
2026年10月15日星期四 10:27:00 UTC（91 KB）
来源：arXiv cs.AI · arxiv.org