arXiv cs.AI· Genshin Kakimoto, Atsushi Yanagisawa·· 11 小时前AI 评分31
8.4B 多模态基础模型在日语金融文档上的分阶段持续适配研究
Staged Continual Adaptation of Multimodal Foundation Models for Japanese Financial Documents
AI 导读
一项研究追踪 8.4B 参数多模态基础模型在日语金融文档上经历三个训练阶段的表现，发现各阶段能力交互并非简单叠加：纯数学蒸馏会覆盖此前习得的金融知识，而数学程序性技能仍保留，领域阶段更多是修复而非新增能力。跳过某阶段的消融实验对领域知识最优，但会放弃数值推理收益，说明各阶段贡献不可分解，最佳 checkpoint 取决于任务。
正文 · AI 翻译
摘要：多模态基础模型的分阶段后训练将视觉-语言对齐、推理蒸馏和领域调优串联起来，但每个阶段如何以其他能力为代价进行权衡，目前仍缺乏充分刻画。我们追踪一个 8.4B 参数模型，从未经微调的基线出发，在日文金融文档上经历三个训练阶段（在五个文本输入基准上评估），发现各阶段之间的交互并非可加：仅数学蒸馏会覆盖此前获得的金融知识，尽管程序性数学技能得以保留；而领域阶段修复的内容多于其新增的内容。跳过阶段的消融实验对领域知识最有利，但会丧失数值推理方面的增益，因此各阶段的贡献不可分解，最佳检查点取决于任务，这对检查点保留和调度而非增加阶段具有启示意义。
| 评论： | 17 页，10 幅图，9 张表。发表于 ICML 2026 研讨会“Continual Adaptation at Scale: Towards Sustainable AI”。代码：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.27904 [cs.AI] |
| （或 arXiv:2610.27904v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27904 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Atsushi Yanagisawa [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 09:19:36 UTC（1,838 KB）
来源：arXiv cs.AI · arxiv.org