arXiv cs.CL· Junyi Zou, Avrova Donz·· 10 小时前AI 评分31
LARC：面向冻结模型学习的低秩自适应残差连接
LARC: Low-Rank Adaptive Residual Connections for Learning in Frozen Models
AI 导读
LARC 为冻结模型提供可学习的紧凑数值状态，通过 h+BAh 映射改写预训练混合器的隐藏输入，并在反馈到来时更新因子、随后重置回学习到的初始化 ρ。
正文 · AI 翻译
摘要：低秩自适应残差连接（LARC）为冻结模型提供一个紧凑的数值状态，使其能够从反馈中学习。映射 $h+BAh$ 将隐藏输入变为预训练混合器。一个回合将学习到的初始化 $\\rho$ 复制到私有状态 $\\Phi$，在反馈到达时更新其因子，并重置到绑定值 $\\rho$。我们分析了因子空间更新，并将这种输入侧策略载体追踪到 Orbit，即本文研究的记忆介导学习架构的训练后实现。在 Orbit 发布的默认配置中，学习到的残差塑造预测，而记忆自适应改变保留的证据。 受控研究在冻结的 MiniCPM5-1B-SFT 上使用秩为 4、包含 12,288 个因子项的残差。在一个包含 16 个参数组和三个配对种子的四候选开发任务中，两次反馈更新相对于各自训练后的重置状态，将预期查询执行误差分别降低 24.65 和 36.65 个百分点。直接支持损失规则达到 0.78125\\% 的误差。在公共持续集成作业的仓库平衡时间顺序回放中，保留更新使半 Brier 损失从 0.1274 升至 0.1808。后续干预观察到同批次非下降以及缩小步长带来的不一致未来收益。这些比较衡量了数值状态何时有助于后续读取，以及训练参考何时更有效。
| 评论： | 20 页，7 幅图，15 张表。MMLA 技术报告。作者贡献相同。第 2 版增加了 Orbit 实现、一个因子状态反例以及更新的公共组件访问 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.40063 [cs.LG] |
| （或此版本的 arXiv:2609.40063v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.40063 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junyi Zou [查看邮箱]
[v1]
2026 年 9 月 30 日星期三 16:21:39 UTC（463 KB）
[v2]
2026 年 11 月 10 日星期二 00:57:38 UTC（517 KB）
来源：arXiv cs.CL · arxiv.org