跳到正文
arXiv cs.AI· Mingda Zhang, Yuanhao Dong, Qiang Huang, Rui Qian, Yanjin Li, Zhenyu Liu, Xiao Huang, Zihao Yang, Jian Wang, Pinjia He, Xiaoying Tang·· 10 小时前AI 评分38

BaseRSI:通过免训练内部化 Harness 实现基础视觉语言模型的递归自我改进

BaseRSI: Recursive Self-Improvement of a Base Vision-Language Model via Training-Free Harness Internalization

AI 导读

研究者提出 BaseRSI,一种让基础视觉语言模型递归自我改进的新范式:模型先改进自身 harness,再通过免训练编辑把 harness 带来的增益写入自身权重。

正文 · AI 翻译

作者:Mingda Zhang、Yuanhao Dong、Qiang Huang、Rui Qian、Yanjin Li、Zhenyu Liu、Xiao Huang、Zihao Yang、Jian Wang、Pinjia He、Xiaoying Tang

查看 PDF HTML(实验性)

摘要:递归自我改进(RSI)正从围绕基础模型的提示与工具框架,转向模型本身。然而,现有 RSI 仍面临关键挑战,包括受限于框架的增益停留在基础模型之外、仅读取模型输出的黑盒监督,以及编辑位置与强度预先固定的不精确编辑。为应对这些挑战,我们提出 BaseRSI,一种递归框架内化的新范式:基础模型改进其框架,然后通过免训练编辑将框架所增加的内容写入自身权重,并基于自身响应一轮又一轮地进行。为支持这一范式,我们引入 ReGap,一种用框架在单个 transformer 块上产生的高维激活差异来监督每个块的机制,并在低维子空间中沿该信号更新块的权重。基于该机制,我们进一步提出 ReKey,一种通过回归将该信号写入每个块的少量键值神经元的算法,并在模型自身响应上测量每次编辑的位置与强度。此外,基础模型仅通过前向传播即可承担该递归的每一个角色,且写入不同位置的编辑可在同一检查点中组合而无需重新拟合。在十个视觉推理基准上的实验结果表明,BaseRSI 在分布内和留出基准上均能持续改进基础视觉语言模型。我们的代码可在 此 https URL 获取。
学科: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.24578 [cs.CV]
  (或 arXiv:2611.24578v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24578

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Mingda Zhang [查看邮箱]
[v1] 2026年11月18日星期三 15:10:11 UTC(26,825 KB)

来源:arXiv cs.AI · arxiv.org