CDAE：用对比去噪提升预训练语言模型的扰动鲁棒性

CDAE: Enhancing Perturbation Robustness in Pretrained Language Models with Contrastive Denoising

AI 导读

研究提出轻量级对比去噪自编码器 CDAE，通过联合优化对比目标与重建目标来精炼 BERT 嵌入，学习对同义词替换、掩码和词丢弃等扰动不敏感的表示。在多种扰动策略和强度下，CDAE 的嵌入相似度保持能力持续优于原始 BERT 嵌入和 SimCSE，且扰动越强差距越大。源代码已公开。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：预训练语言模型显著提升了句子表示学习，但其嵌入对同义词替换、掩码和词丢弃等文本扰动仍然敏感。本文提出一种轻量级对比去噪自编码器（CDAE），通过联合优化对比目标与重建目标来精炼预训练 BERT 嵌入，从而学习对扰动不变的表示。我们在多种扰动策略和强度下评估该框架，并将其与原始 BERT 嵌入和 SimCSE 进行比较。实验结果表明，CDAE 在扰动下始终能保持更高的嵌入相似度，且随着扰动强度增加，差距进一步扩大，这表明扰动不变学习是提升句子嵌入稳定性的一条有前景的方向。源代码已公开于：此 https URL

评论：	预印本
学科：	人工智能（cs.AI）；计算与语言（cs.CL）
ACM 分类：	I.2.4；I.2.6
引用为：	arXiv:2607.28236 [cs.AI]
	（或本版本的 arXiv:2607.28236v2 [cs.AI]）
	https://doi.org/10.48550/arXiv.2607.28236 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Sina Heydari [查看邮箱]
[v1] 2026年7月30日星期四 14:04:08 UTC（741 KB）
[v2] 2026年10月16日星期五 11:50:15 UTC（745 KB）

来源：arXiv cs.AI · arxiv.org