arXiv cs.AI· Kwangmin Ki, Yunhun Nam, Jongheon Jeong, Jaehyung Kim·· 9 天前AI 评分24
CPR：用关键点路由对抗 LLM 领域适配中的灾难性遗忘
CPR for LLMs: Critical-Point Routing against Catastrophic Forgetting in Domain Adaptation
AI 导读
研究者提出 CPR（Critical-Point Routing），一种在基座模型与其 SFT 专家衍生模型之间做 token 级路由的框架，依据基座模型失败而专家成功的"关键 token"决定是否调用专家。
正文 · AI 翻译
摘要：监督微调（SFT）是将大语言模型（LLM）适配到目标领域的事实标准，但它往往会损害模型的通用能力，即灾难性遗忘现象。现有方法通常通过修改 SFT 损失来缓解遗忘，但不可避免地要在领域与通用性之间权衡。在本工作中，我们跳出这一权衡，在模型层面解耦这两种能力：保留原始基础模型以维持通用能力，仅在需要领域特定知识时选择性地调用 SFT 专家。具体而言，我们提出 CPR（Critical-Point Routing，关键点路由），一种在基础模型与其专家衍生模型之间的 token 级路由框架，基于基础模型失败但专家成功的关键 token。我们训练了一个轻量级分层路由器，用于估计每个 token 的专家调用概率，并为其搭配了一套定制的推理流程，结合了动量平滑与阈值门控。在多种模型-领域配置下，CPR 在所有设置中均达到最先进水平，在领域性能上超越 SFT 专家 1.4-5.5%，同时将其通用能力下降从 3.4-14.5% 恢复至最多 0.5%，且仅在三分之一的 token 上调用专家，开销极小。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.30158 [cs.CL] |
| （或 arXiv:2608.30158v3 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2608.30158 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Kwangmin Ki [查看邮箱]
[v1]
2026年8月31日星期一 02:19:10 UTC（1,091 KB）
[v2]
2026年10月3日星期六 10:43:44 UTC（1,091 KB）
[v3]
2026年10月8日星期四 04:39:39 UTC（1,092 KB）
来源：arXiv cs.AI · arxiv.org