arXiv cs.CL· Noureddine Khaous (LLF - UMR7110, UPCit\'e), Guillaume Wisniewski (LLF - UMR7110, UPCit\'e)·· 6 天前AI 评分22
更好的度量救不了你:比较什么比怎么比较更重要
A Better Metric Will Not Save You: What You Compare Beats How You Compare It
AI 导读
表征相似性度量(RSA、CKA、Procrustes)的选择取决于其视为无关的变换,但所有度量都把条件集合当作既定输入,而该集合由"纳入哪些输入"和"如何分组"两个决策在矩阵生成前就已固定。
正文 · AI 翻译
摘要:表征相似性度量(RSA、CKA、Procrustes)是依据它们视为无关的变换来选择的,而它们全都将条件集合视为给定。该集合由两个决定固定,即哪些输入被纳入以及它们如何分组,这两个决定都在度量所操作的矩阵存在之前就已做出:没有任何不变性属性能够触及它们。我们在条件应有的排列独立于所比较系统而已知的情形下,衡量它们的价值,即元音的声音组织,涵盖十五种语言和二十七种表征。在类别数量固定的情况下,改变所比较的类别,会使两个表征之间的差距变动超过所测量效应的两倍,而改变数量则完全不会使其变动。在此情形下,模型的排名在这些选择下是可识别的,而跨语言的排名则不是。
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.13476 [cs.CL] |
| (或 arXiv:2610.13476v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.13476 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
发件人:Guillaume Wisniewski [查看电子邮件] [通过 CCSD 代理]
[v1]
2026年10月9日星期五 12:11:53 UTC(101 KB)
来源:arXiv cs.CL · arxiv.org