arXiv cs.CL· Dalton Raphael Harmsen, Swier Garst, Thomas van Osch, Zar\`e Palanciyan, Joaquin Vanschoren·· 10 小时前AI 评分21
零计算跨语言迁移性估计：用类型学特征代理预测迁移效果
Zero-Compute Cross-Lingual Transferability Estimation Using Typological Feature Proxies
AI 导读
研究提出用类型学特征代理实现零计算的跨语言迁移性估计，仅基于类型学数据库的随机森林在 24 语言迁移矩阵上取得留一语言 ρ=0.705、R²=0.49，优于调优的非类型学对照（ρ=0.62）。当留出语言对的两端均未见过时性能降至 ρ≈0.41，说明模型更擅长插值已有矩阵而非预测新语言。该信号在留一文字系统和留一语系协议下依然成立，可作为替代数百次训练运行的零计算筛选工具。
正文 · AI 翻译
摘要：跨语言迁移描述源语言中的知识如何使目标语言受益。定量衡量它需要广泛的多语言预训练，正如先前工作用跨语言迁移矩阵所做的那样。我们追问：迁移是否可以从免费可得的类型学特征预测，以及高资源源语言的突出程度反映的是类型学还是数据质量与数量。我们表明，类型学数据库包含关于跨语言迁移的廉价且密集的信号。我们在一个 24 种语言的先前工作迁移矩阵上仅使用类型学的随机森林得分为留一语言 $\rho{=}0.705$ 和 $R^2{=}0.49$，而调优的非类型学对照为 $\rho{=}0.62$，这一增量在此规模下配对自助法无法区分。当留出对中的两种语言都未见时，性能降至 $\rho{\approx}0.41$，因此该模型更可靠地插值真实矩阵，而非预测新语言。该信号在留一文字系统和留一语系协议下依然存在，因此文字系统和语系混杂不能解释这一效应。通过将迁移分解为类型学项和资源与文字系统偏置项，我们发现最佳源语言排名对该偏置敏感。类型学特征从不观察这一偏置，这使它们成为一种零计算筛选工具，用一次模型拟合取代数百次训练运行。我们的代码可在 \href{此 https URL}{此处} 获取。
| 评论： | 4 页，NeurIPS 研讨会，基础模型的语言学原则，lp4fm |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.39640 [cs.CL] |
| （或 arXiv:2609.39640v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.39640 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Dalton Harmsen [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 12:45:46 UTC（9,166 KB）
[v2]
2026 年 11 月 4 日星期三 13:00:52 UTC（9,167 KB）
来源：arXiv cs.CL · arxiv.org