跳到正文
arXiv cs.CL· Son Duong, Truong X. Tran, Hai-Anh Tran·· 10 小时前AI 评分22

ICARE:用增量类别感知表示与蒸馏学习做跨域文本分类

ICARE: cross-domain text classification with incremental class-aware representation and distillation learning

AI 导读

研究提出 ICARE 框架,用于跨域文本分类中的持续多任务学习,包含基于表示学习的实例选择模块和特征级与 logit 级知识蒸馏方法,以缓解灾难性遗忘。在基准文本分类数据集上,ICARE 显著提升目标准确率并降低“遗忘指标”,源代码已公开。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:强大且经过微调的大语言模型(LLMs)的兴起,需要稳健的自然语言推理(NLI)系统。这些 NLI 系统理想情况下应在各种任务上进行训练,涵盖情感分析、新闻分类和共指消解等多样概念。然而,这种持续的多任务方法可能导致灾难性遗忘,即先前学习的任务被丢失,尤其是在缺乏特定标签的领域中。用带标签的过往示例进行复述可能会通过导致过拟合而进一步加剧这一问题,阻碍系统对新类别进行分类的能力。为应对这些挑战,本研究提出了 ICARE,一个包含两个关键组件的新框架:实例选择模块和知识蒸馏方法。前者基于表示学习,精心选择训练示例呈现给 NLI 系统。后者采用特征级和 logit 级迁移的知识蒸馏,促进任务之间的知识迁移。这利用剪枝技术和优化目标函数来迁移关键的特征级和决策(logit 级)知识,在适应新模式的同时减轻灾难性遗忘。在基准文本分类数据集上的广泛评估证明了 ICARE 的有效性。该框架在目标准确率上实现了显著提升,并降低了“遗忘指标”。这些结果巩固了 ICARE 在多样任务中保留和利用已学知识的能力,最终增强了 NLI 系统的适应性和性能。源代码可在 此 https URL 获取
学科: 计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2611.24959 [cs.CL]
  (或 arXiv:2611.24959v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24959

由 DataCite 颁发的 arXiv DOI(待注册)

期刊 参考: International Journal of Machine Learning and Cybernetics, vol. 16, pp. 5277-5294, 2025
相关 DOI: https://doi.org/10.1007/s13042-025-02572-6

链接到相关资源的 DOI

提交历史

来自:Truong Tran [查看电子邮件]
[v1] 2026年11月11日星期三 13:42:02 UTC(488 KB)

来源:arXiv cs.CL · arxiv.org