arXiv cs.CL· Joshua Maccoby, Wendy Hui Wang·· 6 天前AI 评分29
REDaCT：大型推理模型的无崩溃遗忘框架
REDaCT: Collapse-Free Unlearning in Large Reasoning Models
AI 导读
REDaCT 是一种面向大型推理模型（LRM）的推理时遗忘框架，通过二元泄漏检测器定位推理链中泄漏遗忘集信息的句子，并在首次检测到泄漏时注入离线学习的纠正嵌入向量，引导后续推理避开泄漏内容。
正文 · AI 翻译
摘要：大型推理模型（LRM）中的遗忘学习需要从推理轨迹和最终答案中同时移除遗忘集信息。现有方法在实现这一目标时会导致推理崩溃，即模型无法生成连贯的思维链（CoT），也无法正确终止其推理过程。为应对这一挑战，我们提出了 REDaCT（REgenerate via Detection and Corrective Tuning，通过检测与纠正微调进行再生成），一个面向 LRM 的推理时遗忘学习框架。REDaCT 包含两个关键组件：（1）一个二元泄漏检测器，用于识别推理轨迹中泄漏遗忘集信息的句子；（2）一个嵌入优化模块，离线学习一个纠正嵌入，使得在推理过程中于首个检测到的泄漏处注入该嵌入时，能够引导后续推理转向不泄漏遗忘集信息的句子。实验结果表明，REDaCT 完全避免了推理崩溃，与最先进的遗忘学习方法相比大幅提升了推理保持能力，同时保持了完美的答案遗忘和近乎完美的 CoT 遗忘。我们的代码可在以下地址获取：this https URL。
| Comments： | 被 EMNLP 2026 Findings 接收。19 页，7 幅图，6 张表。Copyright 2026 Association for Computational Linguistics (ACL)。依据 CC BY 4.0 许可。 |
| Subjects： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12769 [cs.LG] |
| （或使用 arXiv:2610.12769v1 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.12769 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Joshua Maccoby [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 22:22:02 UTC（429 KB）
来源：arXiv cs.CL · arxiv.org