arXiv cs.AI· Jingtong Dou, Chuancheng Shi, Wenhua Wu, Wei Bao, Fei Shen, Zhiyong Wang, Tat-Seng Chua·· 3 天前AI 评分24
SuperAI：跨异构基础模型的能力融合框架
SuperAI: Merging Capabilities Across Heterogeneous Foundation Models
AI 导读
研究者提出 SuperAI 跨架构多模型融合框架，通过正交对齐低维任务相关表征，将多个源模型的互补能力注入宿主模型。在 3 个宿主模型、15 个能力域上的实验显示，SuperAI 的平均领域得分高于所评估的跨架构融合方法，且随源模型数量增加能更好地保留通用能力。消融实验验证了正交对齐、非线性残差映射与联合监督的有效性。
正文 · AI 翻译
摘要：实现分布于基础模型中的知识与能力的复用和组合，是构建可扩展人工智能（AI）系统的重要一步。然而，架构差异和不兼容的表示使得通过统一的跨模型接口迁移和整合这些能力变得困难。为应对这一挑战，我们提出 SuperAI，一种跨架构多模型融合框架，通过对低维任务相关表示的正交对齐，将来自多个源模型的互补能力整合到宿主模型中。具体而言，我们首先使用共享锚样本从源模型和宿主模型中提取任务相关表示，并应用主成分分析（PCA）构建具有相同维度的低维功能子空间。接着，我们使用正交 Procrustes 映射对齐源坐标系与宿主坐标系，在保持各源子空间内部几何结构的同时建立跨模型对应关系。最后，我们训练一个轻量级残差多层感知机（MLP），对任务输出和源模型增量进行联合监督，学习依赖输入的残差增量，并将其注入宿主模型以实现多模型能力融合。在 15 个能力领域、3 个宿主模型上的实验表明，SuperAI 相比所评估的跨架构融合方法取得了更高的平均领域得分，并且随着源模型数量的增加更好地保留了通用能力。消融研究进一步支持了正交对齐、非线性残差映射和联合监督的有效性。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.15322 [cs.AI] |
| （或 arXiv:2610.15322v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15322 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Jingtong Dou [查看邮箱]
[v1]
2026年10月11日星期日 03:51:47 UTC（2,671 KB）
[v2]
2026年10月14日星期三 07:18:02 UTC（2,671 KB）
来源：arXiv cs.AI · arxiv.org