arXiv·· 16 天前AI 评分22
语言模型自修复机制研究：消融即剂量与反事实对比的校准问题
Every Ablation Is a Dose: Counterweights and the Semblance of Self-Repair
AI 导读
针对语言模型中被反复观察到的"自修复"现象，该研究提出其机制可能源于消融前就已存在的增益，而非组件间的主动补偿。作者将任何对因果重要组件的干预视为反事实对比强度坐标轴 λ 上的一点，指出传统消融方法只是未校准的点。
来源：arXiv · arxiv.org