arXiv cs.CL· Katie Matton, Rosalind W. Picard, John Guttag, Maggie Makar·· 14 小时前AI 评分31
用反事实测试时增强移除语言模型中的捷径
Counterfactual Test-Time Augmentation for Shortcut Removal in Language Models
AI 导读
研究提出反事实测试时增强（CTTA）方法族，用辅助模型生成改变捷径值的反事实编辑，再对 LLM 在这些编辑上的预测做加权平均，无需训练数据、权重访问或大量算力即可在测试时移除捷径。
正文 · AI 翻译
摘要：大型语言模型（LLM）可能利用捷径，即训练数据中存在、但在测试时可能不成立的相关性。当相关性发生变化时，这可能导致预测效果变差。现有的大多数消除捷径的方法都在训练时运行，需要带标签的训练数据、模型权重访问权限以及大量计算资源。本文研究测试时消除捷径的问题。我们提出了一类反事实测试时增强（CTTA）方法：给定一个样本，每种方法都使用一个辅助模型生成反事实编辑，在其中改变捷径的取值，然后对这些编辑下 LLM 的预测取加权平均。我们证明，最优的捷径不变预测器属于这个 CTTA 族，并刻画了其权重。这些权重取决于训练分布，因此通常无法从训练好的模型和无标签测试数据中辨识出来。不过，我们给出了若干假设，在这些假设下可以利用训练好的 LLM 的 token 概率获得权重，并提出检验方法来检测这些假设是否被违反。我们利用这些检验方法开发了 Select-CTTA，这是一种在多种 CTTA 方法中进行选择的聚合方法。实验上，我们发现 Select-CTTA 优于测试时基线方法，并接近在捷径平衡数据上微调过的模型的性能。
| 评论： | 24 页，9 张表，2 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33904 [cs.LG] |
| （或 arXiv:2610.33904v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.33904 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Katie Matton [查看邮箱]
[v1]
2026 年 10 月 24 日星期六 20:30:34 UTC（65 KB）
来源：arXiv cs.CL · arxiv.org