ECHO：用熵控制与动态反馈预防 LLM 监督微调中的灾难性遗忘

Entropic Control for Homeostatic Optimization: Pre-empting Catastrophic Forgetting via Dynamic Feedback

AI 导读

研究者提出闭环控制框架 ECHO，通过分解 KL 散度将输出熵作为监测遗忘风险的在线代理，无需昂贵的参考模型推理。ECHO 用弹性控制器按比例控制律动态调节回放数据的梯度权重，以偏离预训练熵平衡的程度作为误差信号。在 0.6B 至 9B 参数架构上的实验显示，ECHO 位于并多次扩展了可塑性-稳定性前沿，且对数据混合比例变化保持高鲁棒性。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：LLM 的监督微调（SFT）存在灾难性遗忘问题，而主流的缓解策略难以调和可塑性与稳定性的两难困境。为此，我们提出稳态优化熵控制（ECHO），一种闭环控制框架。通过分解 KL 散度，我们发现输出熵是 KL 变化的主要可观测分量。这使我们能够利用熵作为一种计算高效的在线代理，实时监测遗忘风险，从而绕过昂贵的参考模型推理。因此，ECHO 采用弹性控制器，以偏离预训练熵平衡的程度作为误差信号，通过比例控制律动态调节回放数据的梯度权重。在 0.6B 至 9B 参数架构上的实证评估表明，ECHO 位于观测到的可塑性-稳定性前沿之上，并在若干比较中拓展了该前沿，同时对不同的数据混合比例保持较高的运行鲁棒性。

学科：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2610.34182 [cs.LG]
	（或 arXiv:2610.34182v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.34182 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Shangxi Wu [查看邮箱]
[v1] 2026年10月25日星期日 09:34:29 UTC（370 KB）

来源：arXiv cs.CL · arxiv.org