arXiv cs.CL· Zihan Chen, Di Zhu, Lei Nico Zheng·· 11 小时前AI 评分36
递归自我改进（RSI）声明的评估证据审计：114 篇研究全文编码显示产品评估多于过程验证
Auditing the Product, Not the Recursion: The Evaluation Evidence Behind Recursive Self-Improvement Claims
AI 导读
一项对 2026 年 10 月冻结的 arXiv 检索框架内 114 篇合格研究的全文编码发现，90 篇自称 RSI 的研究中 90% 报告了超出开发任务的产品评估，但仅 22% 审计了完整循环的两次以上重跑。在声称改进流程更优的 26 篇研究中，23 篇给出相关比较，仅 4 篇在相同起始产物与匹配预算下比较了前后流程。结果支持按声明索引的报告标准，将每项声明与其所需的评估设计对应。
正文 · AI 翻译
摘要：递归自我改进（RSI）有望让 AI 系统（例如可自我进化的 LLM 智能体）在产生进一步改进方面变得更强。评估这一前景，需要把关于最终系统的产品主张与关于改进过程本身的过程主张区分开来。现有综述明确了这些主张所需的证据，但研究实际报告这些证据的频率仍未被测量。我们通过在 2026 年 10 月冻结的可复现 arXiv 检索框架中对 114 项符合条件的研究进行全文编码来考察这一问题，其中 90 项研究将自己的系统描述为 RSI。该编码手册将主张与评估设计关联起来。独立人工编码、第三读者裁定，以及对改进者比较的单独盲编码，用于评估编码可靠性。在这 90 项 RSI 研究中，90% 在包含部分分离或未说明分离的宽泛标准下报告了超出开发任务的产品评估，而 60% 报告了在未用于选择的那些任务上的评估。只有 22% 审计了完整循环的两次或更多次重跑。在人工编码的随机样本中，RSI 研究显示出同样的反差：45% 在未用于选择的任务上评估，14% 审计两次或更多次重跑。在 26 项声称改进过程更好的研究中，23 项报告了相关比较，但只有 4 项在匹配预算下比较了来自相同起始产物的早期和后期过程。综合这些结果以及一组既有工作的对照集，可重复性和改进过程的证据仍不如产品评估成熟。三个命题解释了选择效应、共享评估器误差以及系统状态变化如何限制产品评估所能确立的内容。总体而言，这些发现支持一种以主张为索引的报告标准，将每项主张与其检验所需的评估设计关联起来。
| 评论： | 39 页，1 幅图，20 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；软件工程（cs.SE） |
| ACM 分类： | I.2.6；I.2.11；G.3 |
| 引用为： | arXiv:2610.27610 [cs.LG] |
| （或针对此版本的 arXiv:2610.27610v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.27610 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zihan Chen [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 04:23:05 UTC（145 KB）
来源：arXiv cs.CL · arxiv.org