多模态模型分阶段适配能力交互研究

Genshin Kakimoto 与 Atsushi Yanagisawa 发表研究，追踪一个 8.4B 参数多模态基础模型在日语金融文档上经历三个训练阶段的表现，发现各阶段能力交互并非简单叠加：纯数学蒸馏会覆盖此前习得的金融知识，而数学程序性技能仍保留，领域阶段更多是修复而非新增能力。 研究还通过跳过某阶段的消融实验发现，跳过该阶段对领域知识最优，但会放弃数值推理收益，说明各阶段贡献不可分解，最佳 checkpoint 取决于任务。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。