RadarAI· X：Rohan Paul (@rohanpaul_ai)·· 10 小时前AI 评分42
论文：递归自我改进安全性尚无共识
AI 导读
一篇论文指出，目前无人能断言递归自我改进（RSI）是安全的，因为连其走向都缺乏清晰的思考框架。作者仅用一条高层提示词就让 AI 从零训练出一个小型 LLM；在 FAR.AI 安全研讨会上，专家们因设想的结果不同，对 RSI 安全条件给出了截然不同的判断。其二人博弈模型显示，RSI 竞赛仅在部分风险水平下构成囚徒困境，高风险时双方共同克制是稳定结果。
正文 · AI 翻译
Rohan Paul· @rohanpaul_ai · X·2026-11-11 07:55· 1 小时前AI 评分43
AI 导读
一篇论文指出，目前无人能断言递归自我改进（RSI）是安全的，因为连其走向都缺乏清晰的思考框架。作者仅用一条高层提示词就让 AI 从零训练出一个小型 LLM；在 FAR.AI 安全研讨会上，专家们因设想的结果不同，对 RSI 安全条件给出了截然不同的判断。其二人博弈模型显示，RSI 竞赛仅在部分风险水平下构成囚徒困境，高风险时双方共同克制是稳定结果。
正文 · 原文
这篇论文认为，目前没有人能断言递归自我改进是安全的，因为我们甚至缺乏一种清晰的方式来思考它将走向何方。
递归自我改进（RSI）是指 AI 构建出更好的 AI，后者再构建出更好的 AI，如此循环。AI 公司正开始追求这一目标，但对于何时才算安全，各方并无共识。
作为普通用户，作者仅用 1 条高层提示词就让 AI 从零训练出一个小型 LLM。在 FAR.AI 安全研讨会上，专家们为 RSI 列出了截然不同的安全条件，因为他们设想的结果大相径庭。
他的二人博弈模型显示，RSI 竞赛仅在部分风险水平下构成囚徒困境。在高风险下，双方共同克制是稳定结果，因此共同等待可以奏效。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news