跳到正文
arXiv cs.CL· Noureddine Khaous (LLF - UMR7110, UPCit\'e), Guillaume Wisniewski (LLF - UMR7110, UPCit\'e)·· 6 天前AI 评分22

更好的度量救不了你:比较什么比怎么比较更重要

A Better Metric Will Not Save You: What You Compare Beats How You Compare It

AI 导读

表征相似性度量(RSA、CKA、Procrustes)的选择取决于其视为无关的变换,但所有度量都把条件集合当作既定输入,而该集合由"纳入哪些输入"和"如何分组"两个决策在矩阵生成前就已固定。

正文 · AI 翻译

查看 PDF

摘要:表征相似性度量(RSA、CKA、Procrustes)是依据它们视为无关的变换来选择的,而它们全都将条件集合视为给定。该集合由两个决定固定,即哪些输入被纳入以及它们如何分组,这两个决定都在度量所操作的矩阵存在之前就已做出:没有任何不变性属性能够触及它们。我们在条件应有的排列独立于所比较系统而已知的情形下,衡量它们的价值,即元音的声音组织,涵盖十五种语言和二十七种表征。在类别数量固定的情况下,改变所比较的类别,会使两个表征之间的差距变动超过所测量效应的两倍,而改变数量则完全不会使其变动。在此情形下,模型的排名在这些选择下是可识别的,而跨语言的排名则不是。
主题: 计算与语言(cs.CL)
引用为: arXiv:2610.13476 [cs.CL]
  (或 arXiv:2610.13476v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.13476

arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

发件人:Guillaume Wisniewski [查看电子邮件] [通过 CCSD 代理]
[v1] 2026年10月9日星期五 12:11:53 UTC(101 KB)

来源:arXiv cs.CL · arxiv.org