跳到正文
arXiv cs.AI· Jiapeng Pei, Yuhang Yao, Sitan Liu, Hanxin Chen, Hao Li, Guogeng Li, Jiapei Liu, Ruijie Chen, Hongshan Lin, Yang Mo, Tianyu Shi, Shangding Gu·· 10 小时前AI 评分34

Safe Personal RSI:评估与修复个人智能体更新

Safe Personal RSI: Evaluating and Repairing Personal-Agent Updates

AI 导读

研究提出 Safe Personal RSI,一套面向个人健康助手 Kicker 的更新评估组件,将递归自我改进(RSI)限定为提示词更新,模型权重与运行代码保持不变。

正文 · AI 翻译

作者:Jiapeng Pei、Yuhang Yao、Sitan Liu、Hanxin Chen、Hao Li、Guogeng Li、Jiapei Liu、Ruijie Chen、Hongshan Lin、Yang Mo、Tianyu Shi、Shangding Gu

查看 PDF HTML(实验性)

摘要:Kicker 是一款个人健康助手。修改助手的可复用指令可以改善任务处理,同时改变其披露的内容、遵循哪些请求以及如何报告操作。我们研究 Safe Personal RSI,这是为 Kicker 开发的更新评估组件。我们将递归自我改进(RSI)限制为提示更新,模型权重和运行时代码保持固定。该流程测试拟议指令和当前指令,重复失败案例,临时撤销更改以指导修复,并在采用前检查安全性和任务性能。如果没有版本通过,则继续使用当前指令。我们的可执行基准包含 29 个电子邮件、日历、健康和市场案例,并分别针对授权复用、记忆和工具输出注入进行探测。在三个模型和两次故意有风险的编辑中,该流程拒绝了 21 次更新尝试中的 20 次。在修复确认中,一次被采纳的 GPT-5.6 Luna 修复将攻击违规从 10.7% 降至 0%,并将安全任务完成率从 89.7% 提升至 100%;一条宽泛的手写权限规则与这些结果相符。在更强的攻击下,从 Qwen2.5-7B-Instruct 迁移到 Qwen3-14B 的修复将违规从 69.0% 降至 17.9%,并将安全任务完成率从 19.5% 提升至 64.4%。单独的运行时探测检查了记忆条目删除,并识别出所评估快照中缺失的本地 OAuth 范围检查。
学科: 软件工程(cs.SE);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2611.23651 [cs.SE]
  (或此版本的 arXiv:2611.23651v1 [cs.SE])
  https://doi.org/10.48550/arXiv.2611.23651

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yang Mo [查看电子邮件]
[v1] 2026年11月18日星期三 00:15:38 UTC(353 KB)

来源:arXiv cs.AI · arxiv.org