arXiv cs.CL· William Dai, Zhenghao Herbert Zhou, Maya Viswanathan, Robert Frank·· 11 小时前AI 评分20
用影响函数识别语法泛化中的间接证据
Where's the Indirect Evidence? Investigating Grammatical Generalization with Influence Functions
AI 导读
研究用影响函数（Koh and Liang, 2017）衡量单条训练句对模型预测的影响，覆盖 BLiMP 的 15 种语法现象，并用人工规则过滤掉直接证据，取剩余影响力最高的 60,000 句作为间接证据。
正文 · AI 翻译
摘要：语言模型能够泛化到训练语料之外，学习语言现象（Patil et al., 2024; Misra and Mahowald, 2024），这表明存在驱动学习的间接证据。先前的工作推断间接证据存在，但未识别其性质，或考虑了关于它可能是什么的特定假设。我们探索了一种自下而上的替代方法来识别间接证据。我们使用影响函数（Koh and Liang, 2017）来衡量单个训练句子如何影响模型在 BLiMP（Warstadt et al., 2020）中 15 种语法现象上的预测。我们使用手工构建的规则过滤掉某一现象的直接证据，并将剩余影响力最大的 60,000 个句子作为间接证据。这种间接证据对学习有实质性影响：在五个模型中，对每种现象，去掉它重新训练比去掉一个匹配的随机组使留出准确率下降更多（中位数为 12 个百分点）。我们通过间接证据与直接证据过滤器的相似性来刻画它：它以中位数为匹配随机组 4.7 倍的比率（部分）满足过滤器的结构条件。最后，按间接证据重叠对现象进行聚类，恢复了包含多种现象的五个 BLiMP 类别中的三个，表明该方法可以揭示语言关系。
| 评论： | 18 页 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22919 [cs.CL] |
| （或 arXiv:2610.22919v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22919 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：William Dai [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 04:32:36 UTC（181 KB）
来源：arXiv cs.CL · arxiv.org